[論文レビュー] Reversible Recursive Instance-level Object Segmentation

Xiaodan Liang, Yunchao Wei+5 more|arXiv (Cornell University)|Nov 14, 2015

Advanced Neural Network Applications参考文献 31被引用数 11

ひとこと要約

本論文では、反復的・適応的な精錬を通じてオブジェクト候補の精錬とインスタンスセグメンテーションを共同最適化する、インスタンスレベルのオブジェクトセグメンテーションのための可逆的再帰的フレームワークR2-IOSを提案する。可逆的ゲートを用いて各候補ごとに最適な精錬イテレーション数を動的に決定し、インスタンスに特化したノイズ除去オートエンコーダを用いて主要なオブジェクトを分離することで、PASCAL VOC 2012で0.5 IoUにおける66.7%のAP^rを達成し、先行手法を著しく上回った。

ABSTRACT

In this work, we propose a novel Reversible Recursive Instance-level Object Segmentation (R2-IOS) framework to address the challenging instance-level object segmentation task. R2-IOS consists of a reversible proposal refinement sub-network that predicts bounding box offsets for refining the object proposal locations, and an instance-level segmentation sub-network that generates the foreground mask of the dominant object instance in each proposal. By being recursive, R2-IOS iteratively optimizes the two sub-networks during joint training, in which the refined object proposals and improved segmentation predictions are alternately fed into each other to progressively increase the network capabilities. By being reversible, the proposal refinement sub-network adaptively determines an optimal number of refinement iterations required for each proposal during both training and testing. Furthermore, to handle multiple overlapped instances within a proposal, an instance-aware denoising autoencoder is introduced into the segmentation sub-network to distinguish the dominant object from other distracting instances. Extensive experiments on the challenging PASCAL VOC 2012 benchmark well demonstrate the superiority of R2-IOS over other state-of-the-art methods. In particular, the $ ext{AP}^r$ over $20$ classes at $0.5$ IoU achieves $66.7\%$, which significantly outperforms the results of $58.7\%$ by PFN~\cite{PFN} and $46.3\%$ by~\cite{liu2015multi}.

研究の動機と目的

• オブジェクトのスケール、ポーズ、隠蔽のばらつきが大きいインスタンスレベルのオブジェクトセグメンテーションの課題に対処すること。
• 固定イテレーション数に依存する候補精錬の限界を克服し、提案ごとに最適な精錬深さを適応的に決定できる仕組みを提供すること。
• 相互監視を用いて候補精錬ネットワークとインスタンスセグメンテーションネットワークを共同で訓練することで、セグメンテーション精度を向上させること。
• 複数の重複するオブジェクトを含む候補において、主要なオブジェクトインスタンスを識別すること。
• トレーニング時および推論時において、各候補の最適な精錬イテレーション数を決定する可逆的メカニズムを開発すること。

提案手法

• R2-IOSは、複数のイテレーションにわたり、オブジェクト候補の精錬とセグメンテーションマスクの改善を交互に繰り返す再帰的アーキテクチャを採用する。
• 可逆的候補精錬サブネットワークは、ボックスオフセットと信頼度スコアを予測し、イテレーション数は学習されたゲートメカニズムによって動的に決定される。
• インスタンスレベルのセグメンテーションサブネットワークから得られるセグメンテーションに特化した特徴量が、候補精錬ネットワークの更新に用いられ、相互に改善が図られる。
• セグメンテーションサブネットワークにインスタンスに特化したノイズ除去オートエンコーダを統合し、グローバルな文脈をモデル化し、各候補内での主要オブジェクトインスタンスを分離する。
• 異なるスケールの候補を処理するためにROIプーリングを用い、両サブネットワークの特徴量を連結して反復的精錬を実現する。
• 可逆的ゲートメカニズムにより、各候補に対して最適なイテレーションにバックトラック可能であり、効率性と正確性を確保する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションネットワークと共同でトレーニングされた場合、オブジェクト候補の再帰的・反復的精錬がインスタンスレベルのセグメンテーション性能を向上させ得るか？
• RQ2 可逆的メカニズムにより、各候補に対して最適な精錬イテレーション数を動的に決定でき、過剰または不十分な精錬を回避できるか？
• RQ3 インスタンスに特化したオートエンコーダによるグローバル文脈モデリングを組み込むことで、混雑した候補内での主要オブジェクトのセグメンテーションがどの程度向上するか？
• RQ4 候補精錬にセグメンテーションに特化した特徴量を用いることで、局所化精度がどの程度向上するか？
• RQ5 固定イテレーションベースラインと比較して、適応的イテレーションスケジューリングが一般化性能と性能に優れているか？

主な発見

• R2-IOSはPASCAL VOC 2012で0.5 IoUにおける66.7%のAP^rを達成し、PFN（58.7%）および先行手法（46.3%）を著しく上回った。
• 可逆的ゲートは固定イテレーションベースライン（R2-IOS recursive 4）に比べ1.5%の性能向上を示し、適応的イテレーションスケジューリングの利点を裏付けた。
• インスタンスに特化したノイズ除去オートエンコーダを削除すると、性能が12.5%以上低下し、重複する候補内での主要インスタンスの分離においてその重要性を実証した。
• セグメンテーションに特化した特徴量の使用により、候補精錬およびセグメンテーション精度の両方で顕著な向上が得られ、効果的な相互監視の有効性を示した。
• 定性的な結果では、イテレーション数が増えるにつれて段階的な改善が観察され、十分な再帰的精錬を経て初めて完全なオブジェクトマスクが回復された。
• モデルは、複雑なシーンにおける部分的可視または隠蔽されたオブジェクト（例：ソファー、人物）を、複数回の精錬ステップを経て正しくセグメンテーションできた。