[論文レビュー] Object Permanence Emerges in a Random Walk along Memory

Pavel Tokmakov, Allan Jabri+2 more|arXiv (Cornell University)|Apr 4, 2022

Human Pose and Action Recognition被引用数 6

ひとこと要約

本論文は、遮蔽された物体のための明示的アノテーションを必要とせず、空間的メモリ表現の時間的整合性を最適化することで、動画モデルにおける物体恒続性を実現する自己教師付き対照的ランダムウォーク目的関数を提案する。この手法は、遮蔽前の後での真値中心点を用いた暗黙の教師信号により、完全遮蔽中における物体位置の維持と予測を学習し、最小限の教師信号で合成および現実世界のベンチマークで最先端の性能を達成する。

ABSTRACT

This paper proposes a self-supervised objective for learning representations that localize objects under occlusion - a property known as object permanence. A central question is the choice of learning signal in cases of total occlusion. Rather than directly supervising the locations of invisible objects, we propose a self-supervised objective that requires neither human annotation, nor assumptions about object dynamics. We show that object permanence can emerge by optimizing for temporal coherence of memory: we fit a Markov walk along a space-time graph of memories, where the states in each time step are non-Markovian features from a sequence encoder. This leads to a memory representation that stores occluded objects and predicts their motion, to better localize them. The resulting model outperforms existing approaches on several datasets of increasing complexity and realism, despite requiring minimal supervision, and hence being broadly applicable.

研究の動機と目的

• 完全遮蔽下における物体の局在化という課題に取り組むこと、これは直接的な教師信号が実用的でないか、ノイズが多い。
• 不可視物体の位置を推定するためにヒューリスティックな運動事前知識や高密度な人間によるアノテーションに依存しないこと。
• 自己教師学習目的関数を通じて、データから自然に物体恒続性が出現することを可能にすること。
• 遮蔽中でさえも空間的に根拠を持つ、オブジェクト中心の表現をメモリに維持できる手法を開発すること。
• 最小限の教師信号で、合成および現実世界の動画データセットに一般化できることを示すこと。

提案手法

• 本手法は、系列エンコーダから得られるメモリ状態のグラフ上で、空間的時間的対応関係をマルコフウォークとしてモデル化する。
• グラフの各ノードは、ある時刻における2次元空間的メモリ特徴マップ上の潜在的なオブジェクト位置を表す。
• ランダムウォークは、遮蔽の前後というキーフレームでのみ真値オブジェクト中心点を用いて教師される。
• 対照的損失は、遮蔽領域を通過した後にも正しい位置に戻るようウォーカーを促すことで、暗黙的にメモリ表現を教師する。
• モデルは局所的近傍に基づくグラフ接続性と、$3\times3$のカーネルを持つプーリングヘッドを用い、特徴の解像度と局在化精度を向上させる。
• ラベルスムージングと中心重複回避制約が適用され、最適化の安定性を向上させるとともに誤検出を低減する。

実験結果

リサーチクエスチョン

• RQ1 不可視オブジェクトの位置に明示的なアノテーションがなくても、自己教師学習的に物体恒続性が出現可能か？
• RQ2 変化する空間的メモリ上での対照的ランダムウォークは、遮蔽中におけるオブジェクト中心の表現を維持するのにどの程度有効か？
• RQ3 本手法は、複雑さと現実性が増すデータセット、特に現実世界の動画に対しても一般化可能か？
• RQ4 モデルは、非決定的行動における不確実性を反映して、遮蔽されたオブジェクトの運動に関する複数の仮説を学習できるか？
• RQ5 目的関数のどの構成要素が性能に最も重要で、局在化精度にどのように影響を与えるか？

主な発見

• 提案手法はPDベンチマークで72.0 mAPを達成し、不可視オブジェクトの真値ラベルを一切使用しないにもかかわらず、完全教師ありベースライン（71.1 mAP）を上回る性能を示した。
• KITTIデータセットでは、複数の遮蔽オブジェクトを同時に正しく局在化でき、微調整なしに現実世界のシナリオに一般化した。
• アブレーションスタディの結果、$3\times3$プーリングカーネルを用いた局所的ノード近傍の使用は、グローバルプーリングに比べてmAPを1.7ポイント向上させた。
• ラベルスムージングはmAPを2.3ポイント向上させ、最適化の安定性を高め、不確実性をよりうまく扱うことを示している。
• 遮蔽物体と遮蔽物の中心が重複しないように制約を設けることで、mAPが2.3ポイント向上し、誤検出の低減に重要であることが確認された。
• モデルは複数の運動仮説（例：曲がる車）を維持する能力を学習しており、非決定的行動における不確実性下での確率的推論を示しており、現実世界の動的行動において不可欠である。