[論文レビュー] Geometric Scene Parsing with Hierarchical LSTM

Zhanglin Peng, Ruimao Zhang+3 more|arXiv (Cornell University)|Apr 7, 2016

Advanced Image and Video Retrieval Techniques参考文献 23被引用数 10

ひとこと要約

本稿では、階層的長短期記憶（H-LSTM）と呼ばれる再帰的ニューラルネットワークを提案する。このモデルは、ピクセル単位の表面ラベル（例：空、地面）と領域間の相互作用関係（例：支持、接続）を同時に予測することで、幾何的シーン解析を実現する。モデルは局所的な空間的文脈を扱う結合ピクセルLSTMと、階層的なグローバル推論を実現するマルチスケールスーパーピクセルLSTMを用い、SIFT-FlowおよびLM+SUNデータセットで最先端の性能を達成するとともに、単一画像からの正確な3D再構成を可能にする。

ABSTRACT

This paper addresses the problem of geometric scene parsing, i.e. simultaneously labeling geometric surfaces (e.g. sky, ground and vertical plane) and determining the interaction relations (e.g. layering, supporting, siding and affinity) between main regions. This problem is more challenging than the traditional semantic scene labeling, as recovering geometric structures necessarily requires the rich and diverse contextual information. To achieve these goals, we propose a novel recurrent neural network model, named Hierarchical Long Short-Term Memory (H-LSTM). It contains two coupled sub-networks: the Pixel LSTM (P-LSTM) and the Multi-scale Super-pixel LSTM (MS-LSTM) for handling the surface labeling and relation prediction, respectively. The two sub-networks provide complementary information to each other to exploit hierarchical scene contexts, and they are jointly optimized for boosting the performance. Our extensive experiments show that our model is capable of parsing scene geometric structures and outperforming several state-of-the-art methods by large margins. In addition, we show promising 3D reconstruction results from the still images based on the geometric parsing.

研究の動機と目的

• 表面ラベルと領域間の相互作用関係を同時に予測する必要がある幾何的シーン解析の課題に対処すること。
• 従来のセマンティックセグメンテーションの限界を克服し、豊富で多スケールの文脈的情報を組み込むことで、頑健な幾何的構造理解を実現すること。
• 階層的再帰ネットワークを用いて、表面ラベル付けと関係予測を統合的に最適化する深層学習フレームワークの構築。
• 幾何的パーサ出力を構造的事前分布として活用することで、単一視点画像からの正確な3D再構成を可能にすること。
• 複数タスク学習と階層的特徴表現が、複雑なシーン構造をモデル化する上で有効であることを実証すること。

提案手法

• 画像特徴を初期抽出するための共有畳み込みバックボーンを用意し、それを二つの並列サブネットワーク（ピクセルLSTM（P-LSTM）とマルチスケールスーパーピクセルLSTM（MS-LSTM））に供給する。
• P-LSTMを用いてピクセルを順次処理することで、局所的な空間的依存関係をモデル化し、細粒度な表面ラベル付けを向上させる。
• マルチスケールのスーパーピクセル表現（16, 32, 48, 64, 128）にMS-LSTMを適用し、相互作用関係予測のための階層的文脈的情報を捉える。
• 各MS-LSTM層の出力で関係予測を実施することで、深層監視を実装し、特徴学習とモデル最適化を向上させる。
• 両サブネットワークをエンドツーエンドで共同学習させ、P-LSTMとMS-LSTMが共有勾配と補完的文脈によって互いに恩恵を受けるようにする。
• 長短期記憶ユニットを活用し、空間的抽象化の異なるレベル間で長距離依存関係を効果的に保持・伝搬する。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、幾何的シーン解析において局所的およびグローバルなシーン文脈を効果的にモデル化できるか？
• RQ2 表面ラベル付けと相互作用関係予測を同時に最適化することで、独立した学習に比べて性能が向上するか？
• RQ3 単一スケールまたはピクセルレベルのモデリングに比べ、マルチスケールのスーパーピクセル表現はどの程度関係予測を向上させるか？
• RQ4 提案されたH-LSTMフレームワークは、幾何的パーサ出力のみを用いて単一画像からの正確な3D再構成を可能にするか？
• RQ5 H-LSTMの階層的構造は、標準的な畳み込みネットワークや単一スケールLSTMアーキテクチャに比べ、シーン幾何をどの程度効果的に捉えられるか？

主な発見

• H-LSTMモデルはSIFT-Flowデータセットでピクセル単位の正確度95.41%、LM+SUNデータセットで91.34%を達成し、すべてのアブレーションバリアントを上回る性能を示した。
• 5層のMS-LSTMを用い、マルチスケールのスーパーピクセルマップを活用することで、SIFT-Flowで平均精度91.2%、LM+SUNで95.8%、G-Contextで90.8%の関係予測精度を達成した。
• アブレーションスタディの結果、P-LSTMを5層の畳み込み層に置き換えると、SIFT-Flowでのピクセル正確度は94.66%に低下し、長距離依存関係のモデル化において再帰的モデリングの優位性が示された。
• マルチタスク学習を排除（P-LSTMのみで学習）した場合、性能に顕著な低下が見られ、両タスク間の相互恩恵が確認された。
• 単一スケールのスーパーピクセル（S-LSTM）を用いた場合、マルチスケールH-LSTMに比べて性能が低く、階層的特徴学習の利点が裏付けられた。
• モデルは、一貫性があり現実的な3Dシーン構造を示す定性的な結果を通じて、単一画像からの高品質な3D再構成を可能にした。