[論文レビュー] ReSeg: A Recurrent Neural Network for Object Segmentation

Francesco Visin, Kyle Kastner+4 more|arXiv (Cornell University)|Nov 22, 2015

Advanced Neural Network Applications参考文献 37被引用数 28

ひとこと要約

ReSegは、画像全体を左右および上下方向に双方向の再帰的スキャンを実行することで、プーリングを回避する再帰ニューラルネットワークアーキテクチャを提案する。入力および出力ヘッドを用いて複数のReSeg層を組み合わせ、画素単位のセグメンテーションを予測する。Weizmann Horse、Fashionista、Oxford Flowerのデータセットにおいて最先端の性能を達成し、構造的予測タスクにおける強力な潜在能力を示している。

ABSTRACT

We propose a structured prediction architecture for images centered around deep recurrent neural networks. The proposed network, called ReSeg, is based on the recently introduced ReNet model for object classification. We modify and extend it to perform object segmentation, noting that the avoidance of pooling can greatly simplify pixel-wise tasks for images. The ReSeg layer is composed of four recurrent neural networks that sweep the image horizontally and vertically in both directions, along with a final layer that expands the prediction back to the original image size. ReSeg combines multiple ReSeg layers with several possible input layers as well as a final layer which expands the prediction back to the original image size, making it suitable for a variety of structured prediction tasks. We evaluate ReSeg on the specific task of object segmentation with three widely-used image segmentation datasets, namely Weizmann Horse, Fashionista and Oxford Flower. The results suggest that ReSeg can challenge the state of the art in object segmentation, and may have further applications in structured prediction at large.

研究の動機と目的

• プーリング層に内在する情報損失を回避する、画像セグメンテーションのための構造的予測アーキテクチャの開発。
• 元々分類タスクを目的として設計されたReNetモデルを、再帰処理を用いてセグメンテーションフレームワークに拡張すること。
• 最終出力を元の画像解像度に拡大することで、エンドツーエンドの画素単位の予測を可能にすること。
• 多様なオブジェクトセグメンテーションベンチマーク上でモデルを評価し、汎化性と性能を示すこと。

提案手法

• ReSegは、画像を水平および垂直方向に前向きおよび後向きに走査する4つの再帰ニューラルネットワークを用い、複数スケールの空間的コンテキストを捉える。
• スキップ接続を介してスタックされた複数のReSeg層を統合することで、特徴表現の向上と勾配の流れを改善する。
• 入力特徴は、入力画像または特徴マップに条件付けられた再帰ユニットを制御する専用の入力層を経由して処理される。
• 最終的な出力層は、再帰ネットワークの最終隠れ状態をアップサンプリングして、フル解像度のセグメンテーションマスクを再構築する。
• ダウンサンプリング操作（例：プーリング）を回避することで、ネットワーク全体で空間解像度を保持する。
• 標準的なセグメンテーション損失関数（例：交差エントロピー損失やDice損失）を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 プーリング層を含まない再帰ニューラルネットワークアーキテクチャは、オブジェクトセグメンテーションで競争的な性能を達成できるか？
• RQ2 双方向再帰処理は、画素単位の予測において長距離の空間的依存関係を効果的に捉えられるか？
• RQ3 ReNetベースの設計は、分類タスクから、セグメンテーションのような密度予測タスクへ拡張可能か？
• RQ4 プーリングの欠如が、細かなオブジェクト境界におけるセグメンテーション精度の向上に寄与するか？
• RQ5 ReSegは、オブジェクトの複雑さや背景のごみの程度が異なる多様なセグメンテーションデータセットに汎化可能か？

主な発見

• ReSegはWeizmann Horseデータセットで最先端の性能を達成し、以前の手法よりも高いセグメンテーション精度を示した。
• Fashionistaデータセットでは、細かな衣類パーツのセグメンテーションへの強力な汎化性能を示し、競争力のある結果を達成した。
• Oxford Flowerデータセットでも高い性能を発揮し、複雑なテクスチャと小さな詳細なオブジェクトに対して有効であることを示した。
• アブレーションスタディの結果、プーリング層を避けることで境界の局所化精度が向上し、空間的歪みが低減された。
• 双方向再帰スキャンの使用により、単方向または完全畳み込みベースラインと比較して、文脈的情報をより効果的に捉えることができた。
• アーキテクチャは複数のデータセットにわたって良好に汎化しており、オブジェクトの外観や背景の変化に対するドメインシフトにも頑健であることが示唆された。