[論文レビュー] Unsupervised Object Segmentation with Explicit Localization Module

Weitang Liu, Lifeng Wei+2 more|arXiv (Cornell University)|Nov 21, 2019

Advanced Neural Network Applications参考文献 13被引用数 4

ひとこと要約

本論文は、画素単位の再構成品質に基づく明示的な局在化モジュールを用いて、反復的にオブジェクトを特定・分離する教師なしオブジェクトセグメンテーションモデルを提案する。背景から始まり、再構成が難しい複雑なオブジェクトへと段階的に処理を進める。本手法は、再構成の難易度をオブジェクト発見の代理指標として活用することで、特にモンテズマのレインジ（Montezuma’s Revenge）のような困難な背景や複雑なシーンにおいて、セグメンテーション精度を向上させ、AM Iスコア0.375を達成した。

ABSTRACT

In this paper, we propose a novel architecture that iteratively discovers and segments out the objects of a scene based on the image reconstruction quality. Different from other approaches, our model uses an explicit localization module that localizes objects of the scene based on the pixel-level reconstruction qualities at each iteration, where simpler objects tend to be reconstructed better at earlier iterations and thus are segmented out first. We show that our localization module improves the quality of the segmentation, especially on a challenging background.

研究の動機と目的

• 注意機構に依存する教師なしオブジェクトセグメンテーションモデルの限界、特に暗黙的で訓練が難しい注意メカニズムに起因する問題を解決すること。
• 再構成困難度に基づく明示的なオブジェクト局在化により、複雑な背景におけるセグメンテーション品質を向上させること。
• 最も単純な（背景）オブジェクトから始まり、再構成が難しいより複雑な構造へと段階的にオブジェクトを発見する手法を開発すること。
• 再構成品質から直接マスクを導出することで、注意ベースのアプローチにおける不整合を回避し、再構成と局在化の一貫性を保証すること。
• 事前定義された注意ヘッドや複雑な注意学習ダイナミクスに依存せずに、自動的にオブジェクトを局在化できるようにすること。

提案手法

• 再構成誤差が小さい画素が背景や単純な構造に属する可能性が高いため、再構成品質マップをオブジェクト局在化の主な信号として使用する。
• 再構成品質マップに基づいて粗い局在化マスクを適用し、セグメンテーションのための関心領域を特定する。
• 少数の成分を有する混合ガウスモデル（GMM）を用いて粗い局在化マスクを精緻化し、正確なオブジェクト境界を生成する。
• 背景から順に1つのオブジェクトずつ再構成を除去することで反復的に画像を再構成し、徐々に複雑な詳細を埋め込む。
• MONetの学習可能な注意ネットワークを、再構成誤差を直接指標として用いる非パrametric局在化モジュールに置き換える。
• 再構成品質に基づく損失関数を導入し、再構成が困難な領域に注目するようモデルを促進する。これらの領域は候補オブジェクトとして解釈される。

実験結果

リサーチクエスチョン

• RQ1 画素単位の再構成品質は、教師なしオブジェクトセグメンテーションにおけるオブジェクト局在化の信頼できる信号として利用可能か？
• RQ2 学習可能な注意機構を再構成ベースの局在化モジュールに置き換えることで、セグメンテーションの整合性と性能が向上するか？
• RQ3 再構成困難度が増す順にオブジェクトを段階的に発見でき、単純な構造（例：背景）を最初にセグメンテーションできるか？
• RQ4 本手法は、困難な背景や同色のオブジェクトを含む、現実世界および合成データセットにおいて、どれほど一般化可能か？
• RQ5 明示的な局在化は、オブジェクトと背景の色が似通っているモンテズマのレインジのようなデータセットにおいて、セグメンテーション性能をどれほど向上させるか？

主な発見

• 提案モデルは、モンテズマのレインジでAMIスコア0.375を達成し、色が背景と似通っているにもかかわらず、梯子、スカル、ドア、鍵といった重要なオブジェクトを正しく特定した。
• カテゴリフラワー（Category Flower）データセットでは、セグメンテーションスコア0.632 ± 0.001を達成し、複雑な背景を有する現実世界のシーンにおいても有効であることを示した。
• カテゴリフラワーデータセットではIODINEおよびReDOを上回り、Multi-dSpritesでは注意ベースのモデルに有利な環境であるにもかかわらず、ベースラインと同等またはそれを上回る性能を示した。
• 明示的局在化モジュールにより、正確なオブジェクト局在化が可能となった。GMMの座標平均から抽出されたオブジェクト位置は、図2および図3に示すように、正例位置とよく一致した。
• アブレーションスタディの結果、局在マスク（L）を削除するか、再構成品質（Q）のみに依存すると、特に単一オブジェクト画像においてセグメンテーションに失敗するため、全モジュールの必要性が示された。
• 視覚的に複雑で背景とは明確に異なるオブジェクト、例えばモンテズマのレインジの下部に位置する梯子などは、初期段階で再構成がうまくいかず、正しくオブジェクトとして同定された。