[論文レビュー] Learning Dense Convolutional Embeddings for Semantic Segmentation

Adam W. Harley, Konstantinos G. Derpanis+1 more|arXiv (Cornell University)|Nov 13, 2015

Advanced Neural Network Applications参考文献 31被引用数 18

ひとこと要約

この論文では、画素間の意味的類似性をモデル化することで、セマンティックセグメンテーションの精度を向上させる、密な画素埋め込みを学習する深層畳み込みニューラルネットワークを提案する。これらの埋め込みを学習された畳み込みに類似した層を用いてフィルタリングおよび予測の再重み付けすることで、PASCAL VOC 2012 において最大1.2%の精度向上を達成し、RGB距離や手作業で作成された埋め込み、中間の輪郭よりも優れており、計算コストの増加は最小限に抑えられる。

ABSTRACT

This paper proposes a new deep convolutional neural network (DCNN) architecture that learns pixel embeddings, such that pairwise distances between the embeddings can be used to infer whether or not the pixels lie on the same region. That is, for any two pixels on the same object, the embeddings are trained to be similar; for any pair that straddles an object boundary, the embeddings are trained to be dissimilar. Experimental results show that when this embedding network is used in conjunction with a DCNN trained on semantic segmentation, there is a systematic improvement in per-pixel classification accuracy. Our contributions are integrated in the popular Caffe deep learning framework, and consist in straightforward modifications to convolution routines. As such, they can be exploited for any task involving convolution layers.

研究の動機と目的

• 画素間の意味的類似性を符号化する密な画素埋め込みを学習することで、セマンティックセグメンテーションの精度を向上させること。
• DCNN内でのリアルタイムかつ密な画素類似度の計算を可能にし、手作業で作成したまたは事前に計算された類似度測定を置き換えること。
• 既存のDCNNパイプラインに効率的で微分可能かつ可学習な層として学習済み埋め込みを統合し、エンドツーエンドの学習を可能にすること。
• 学習済み埋め込みが、埋め込み学習時に画素単位のラベルを必要としないままでも、特に物体境界で分類予測を鋭くすることを示すこと。
• Caffeなどの一般的なフレームワークと互換性があり、任意のDCNNベースのビジョンタスクに適用可能なプラグアンドプレイモジュールを提供すること。

提案手法

• 本手法は、同じ物体上に位置する画素の埋め込みが、埋め込み空間内で近接するように、DCNNを訓練して画素ごとに密で高次元の埋め込みを出力する。
• 画素埋め込み間のペアワイズ距離を、2つの画素が同じ意味的領域に属するかどうかを判断する学習済み類似度スコアとして用いる。
• 空間的に局所的なフィルタリング操作により、これらの類似度スコアを重みとして用い、最終層の活性化値を再重み付けすることで、類似した隣接画素からの予測を集約する。
• 埋め込み層は、Caffeにおける微分可能で畳み込みに類似した操作として実装されており、画素レベルのアノテーションの有無に関わらずエンドツーエンドの学習が可能である。
• フィルタの再帰的適用により、有効な受容野を拡大でき、長距離の文脈的モデリングが向上する。
• 本手法は、DeepLabなどの既存のセグメンテーションモデルと統合可能であり、さらに精度向上のためCRF後処理と組み合わせることも可能である。

実験結果

リサーチクエスチョン

• RQ1 学習済み密な画素埋め込みを用いることで、局所的な意味的類似度をモデル化することで、セマンティックセグメンテーションの精度を向上させることができるか？
• RQ2 RGB距離や中間の輪郭といった手作業で作成された類似度と比較して、学習済み埋め込みの性能はどの程度か？
• RQ3 DCNNパイプラインに学習済み埋め込みを統合することで、異なるネットワークアーキテクチャーやデータセットにおいて一貫した精度向上が得られるか？
• RQ4 分類精度を最大化するために最適なフィルターサイズと再帰的適用回数は何か？
• RQ5 埋め込み学習時に画素単位のラベルを必要としないエンドツーエンドの学習パイプラインで、埋め込みモジュールを効果的に使用できるか？

主な発見

• 提案手法は、ベースラインのDeepLabモデルと比較して、PASCAL VOC 2012のテストセットにおいて平均交差率（mIoU）を1.2%向上させた。
• 最高性能を示した設定は、9×9の埋め込みフィルタを7回再帰的に適用したもので、バリデーションセットで79.69%のmIoUを達成した。
• 密なCRFと組み合わせた場合、埋め込み拡張モデルはテストセットで74.00%のmIoUを達成し、DeepLab-CRFベースラインを0.4%上回った。
• 最大15×15までの大きなフィルターサイズと複数回の再帰的適用は、常に性能向上をもたらし、拡大された受容野の利点を裏付けた。
• メモリ使用量がはるかに小さいにもかかわらず、学習済み埋め込みは最先端の手作業で作成された埋め込み（例：Leordeanuら）や中間の輪郭を上回る性能を示した。
• 本手法は、CRF後処理やデコンボリューションによるアップサンプリングといった従来の技術と直交しており、組み合わせることで補完的かつさらなる精度向上が可能である。