[論文レビュー] Unsupervised Multi-object Segmentation by Predicting Probable Motion Patterns

Laurynas Karazija, Subhabrata Choudhury+3 more|arXiv (Cornell University)|Oct 21, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文では、正確な動きの予測ではなく、画像領域内の可能性のある動きのパターンを予測することで、静止画像モデルを動画データを用いて訓練する非教師ありマルチオブジェクトセグメンテーション手法を提案する。剛体の動きパターン（静止物体を含む）の分布をモデル化することで、合成および現実世界のベンチマークで最先端の性能を達成し、テスト時においても画像のみの手法や動きに情報を利用した手法を上回る。

ABSTRACT

We propose a new approach to learn to segment multiple image objects without manual supervision. The method can extract objects form still images, but uses videos for supervision. While prior works have considered motion for segmentation, a key insight is that, while motion can be used to identify objects, not all objects are necessarily in motion: the absence of motion does not imply the absence of objects. Hence, our model learns to predict image regions that are likely to contain motion patterns characteristic of objects moving rigidly. It does not predict specific motion, which cannot be done unambiguously from a still image, but a distribution of possible motions, which includes the possibility that an object does not move at all. We demonstrate the advantage of this approach over its deterministic counterpart and show state-of-the-art unsupervised object segmentation performance on simulated and real-world benchmarks, surpassing methods that use motion even at test time. As our approach is applicable to variety of network architectures that segment the scenes, we also apply it to existing image reconstruction-based models showing drastic improvement. Project page and code: https://www.robots.ox.ac.uk/~vgg/research/ppmp .

研究の動機と目的

• 手動アノテーションなしで複雑な視覚的シーンにおける非教師ありマルチオブジェクトセグメンテーションの課題に対処すること。
• 視覚的複雑さや外観の変動に苦しむ、画像再構築に基づくモデルの限界を克服すること。
• 動画データを監視信号として活用し、オブジェクトが動いていなくても静止画像のセグメンテーションを向上させること。
• 実際に動きの手がかりに依存するのではなく、静止しているオブジェクトを含むありそうな動きのパターンに基づいてオブジェクト領域を特定する手法を開発すること。
• 複雑なシーンにおける未観測のオブジェクト形状やテクスチャへの一般化を示し、既存の非教師ありおよび動き補強型ベースラインを上回ること。

提案手法

• 動画データを監視信号として用い、動きのパターンをオブジェクトの存在の代理として使用することで、静止画像上でセグメンテーションモデルを訓練する。
• 閉形式の式を用いて、剛体的に動くオブジェクトから想定される光流のパターンの分布（ゼロの動きを含む）をモデル化する。
• セグメンテーション領域ごとに確率的フロー・モデルを用い、動きのパターンの整合性を評価し、確率が高いほどよりありそうなオブジェクトレベルの動きであると判断する。
• 領域ごとのフロー確率分布の最適化を目的関数とするニューラルネットワークを用いて、標準的な画像セグメンテーション問題としてセグメンテーションタスクを定式化する。
• 物理シミュレートされたオブジェクトの動きと現実的な静止オブジェクトを備えた、CLEVRおよびClevrTexの拡張版である2つの新しい動画データセットを導入する。
• 既存の画像再構築ベースのモデル（例：Slot Attention、IODINE）に、動きに敏感な損失を適用することで、性能を顕著に向上させる。

実験結果

リサーチクエスチョン

• RQ1 確実な動き予測を超えて、ありそうな動きパターンの分布をモデル化することで、非教師ありマルチオブジェクトセグメンテーションの性能が向上するか？
• RQ2 動画内でオブジェクトが動いていなくても、動画の監視信号が静止画像のセグメンテーションを向上させるか？
• RQ3 動画データで訓練されたモデルは、テスト時に未観測のオブジェクト形状やテクスチャに一般化できるか？
• RQ4 提案手法は、最先端の画像ベースおよび動画ベースの非教師ありセグメンテーションモデルと比較してどのように評価されるか？
• RQ5 動きを分布としてモデル化（静止オブジェクトを含む）することで、動きのみまたは外観のみのベースラインと比較して、セグメンテーション品質がどの程度向上するか？

主な発見

• 提案手法はCLEVRおよびClevrTexベンチマークで最先端の性能を達成し、ClevrTexでは平均マスクIoUが72.78 ± 1.31、CLEVRでは76.01 ± 0.56を記録し、先行する非教師あり手法を上回った。
• MOVi-AおよびMOVi-Cデータセットでは、それぞれ77.43 ± 0.86および56.43 ± 0.80の平均マスクIoUを達成し、定量的および定性的な評価でSAVi、GWM、SCALORを上回った。
• 未観測のオブジェクト形状やテクスチャに対しても良好な一般化を示し、視覚的に複雑なシーンでも頑健であることが確認された。
• 既存の画像再構築モデル（例：Slot Attention、IODINE）に適用した場合、動きに敏感な損失により顕著な性能向上が得られ、動きが強力な監視信号であることが裏付けられた。
• テスト時に動き情報を使用する動画ベースのベースラインを上回ったことから、静止画像フレームワークにおいて動画監視信号をより効果的に活用できることを示した。
• アブレーションスタディにより、動きを分布としてモデル化（非動くオブジェクトを含む）することが不可欠であることが確認された。決定論的動き予測では性能が劣化した。