[論文レビュー] Unsupervised Moving Object Detection via Contextual Information Separation

Yanchao Yang, Antonio Loquercio+2 more|Zurich Open Repository and Archive (University of Zurich)|Jan 10, 2019

Anomaly Detection Techniques and Applications参考文献 33被引用数 6

ひとこと要約

この論文は、敵対的文脈情報分離を活用した教師なし動的物体検出手法を提案する。生成ネットワークは、周囲の文脈から光流を予測することで物体マスクを予測する。一方、インpainterネットワークは外部の文脈のみを用いてマスクされた光流を再構築することを試みる。モデルはいかなる教師信号も使用せず、生成と再構築の間の暗黙的な競争を敵対的訓練によって活用することで、教師あり手法の多くを上回る最先端の性能を達成する。

ABSTRACT

We propose an adversarial contextual model for detecting moving objects in images. A deep neural network is trained to predict the optical flow in a region using information from everywhere else but that region (context), while another network attempts to make such context as uninformative as possible. The result is a model where hypotheses naturally compete with no need for explicit regularization or hyper-parameter tuning. Although our method requires no supervision whatsoever, it outperforms several methods that are pre-trained on large annotated datasets. Our model can be thought of as a generalization of classical variational generative region-based segmentation, but in a way that avoids explicit regularization or solution of partial differential equations at run-time.

研究の動機と目的

• 大規模なアノテート済みデータセットでの事前学習に依存しない、完全に教師なしの動的物体検出手法の開発。
• 推論時に明示的な正則化、ハイパーパramータチューニング、または偏微分方程式の解法を必要としないこと。
• 物体と背景の運動の独立性をモデル化することで、しきい値フリーなフォアグラウンド/バックグラウンドセグメンテーションを実現すること。
• 深層ニューラルネットワークを活用して効率的かつスケーラブルな推論を実現しながら、多様なシーンに強く一般化できる性能を維持すること。
• いかなる教師信号も使用しないにもかかわらず、ベンチマークデータセットで競争力のある性能を達成すること。

提案手法

• 本手法は、画像の他の領域からの文脈的情報のみを用いて、領域内の光流を予測することで物体マスクを生成する生成ネットワークを採用する。
• 敵対的インpainterネットワークを訓練し、周囲の文脈のみを用いてマスクされた光流を再構築させることで、生成ネットワークが正確なマスクを出力するように強制する。
• 生成ネットワークとインpainterネットワークは敵対的かつ共同で訓練され、生成ネットワークはインpainterが再構築に失敗するようなマスクを生成することを目的とする。
• 両ネットワークともエンコーダ・デコーダ構造にスキップ接続を用い、インpainterには文脈モデリングを向上させるために2つの独立したエンコーディングブランチを設ける。
• 訓練目的は、インpainterの再構築誤差を最小化するとともに、生成ネットワークが関連する光流情報を効果的に隠蔽できる能力を最大化することに据える。
• 予測マスクの精緻化のため、バイリテラル pairwise ポテンシャルを用いたCRFを後処理として適用する。

実験結果

リサーチクエスチョン

• RQ1 文脈的情報と敵対的訓練にのみ依存して、教師なしで動的物体検出が可能かどうか。
• RQ2 大規模なアノテート済みデータセットでの事前学習なしに、教師ありベースラインを上回る性能を達成できるか。
• RQ3 敵対的文脈分離によってフォアグラウンドとバックグラウンドの運動の独立性を強制することで、ロバストで一般化可能なセグメンテーションが実現できるか。
• RQ4 明示的な正則化、PDE、ハイパーパramータチューニングを回避しながらも、高い性能を維持できるか。
• RQ5 多様なシーン、オクルージョン、複雑な運動パターンに、この手法はどの程度一般化できるか。

主な発見

• 提案手法はDAVIS2016で最先端の性能を達成し、平均Jaccard指数（J）が71.5%、F-measure（F）が86.5%を記録。多くの教師ありベースラインを上回る。
• FBMS59では平均Jが63.6%、Fが78.2%を達成し、多様な動画シーケンスにわたる強力な一般化性能を示す。
• フォアグラウンドとバックグラウンドの運動が完全に独立している理想状態では、ほぼ完璧なセグメンテーションが達成され、本手法の核心的仮定の妥当性が裏付けられる。
• 定性的な結果から、部分的オクルージョン、複雑な境界、マルチスケールオブジェクトといった困難な状況においても、モデルが良好に一般化していることが示された。
• トレーニング中にいかなるラベル付きデータにもアクセスしていないにもかかわらず、いくつかの教師あり手法をベンチマークで上回った。
• アブレーションスタディにより、敵対的訓練スキームが自明な解を防ぎ、明示的な正則化なしにロバストなマスク予測を可能にしていることが確認された。