[論文レビュー] Slot Contrastive Networks: A Contrastive Approach for Representing Objects

Evan Racah, Sarath Chandar|arXiv (Cornell University)|Jul 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 5

ひとこと要約

スロット対照ネットワーク（SCN）は、動画シーケンス内の時間的運動を活用することで、教師なしオブジェクト表現のための対照的学習アプローチを導入する。この手法は、時間的対照損失と新しいスロット多様性損失を用いて、明確で判別性の高いスロット表現を学習し、従来の自己教師あり手法と比較して、スロットの正確性とモularityが向上した。アタリゲームにおいて最先端の性能を達成した。

ABSTRACT

Unsupervised extraction of objects from low-level visual data is an important goal for further progress in machine learning. Existing approaches for representing objects without labels use structured generative models with static images. These methods focus a large amount of their capacity on reconstructing unimportant background pixels, missing low contrast or small objects. Conversely, we present a new method that avoids losses in pixel space and over-reliance on the limited signal a static image provides. Our approach takes advantage of objects' motion by learning a discriminative, time-contrastive loss in the space of slot representations, attempting to force each slot to not only capture entities that move, but capture distinct objects from the other slots. Moreover, we introduce a new quantitative evaluation metric to measure how "diverse" a set of slot vectors are, and use it to evaluate our model on 20 Atari games.

研究の動機と目的

• 生成モデルが教師なしオブジェクト表現において抱える限界、すなわち背景ピクセルにリソースを無駄に使い、小さなまたは低コントラストのオブジェクトを捉えられないことに対処する。
• 既存の対照的手法が静的画像に依存するのを克服し、オブジェクト発見のための自己教師信号として時間的運動を活用する。
• 各スロットが他のスロットとは明確に異なるオブジェクトを表すよう促進するため、スロット対照損失を導入することでスロットの分離性を向上させる。
• スロット表現の多様性と一貫性を評価するための新しい定量的指標「スロットモジュラリティおよびコンパクトネス」を開発する。
• スロット空間における時間的対照学習が、静的画像ベースのアプローチよりもより強固で構造的なオブジェクト表現を可能にすることを示す。

提案手法

• モデルは、動画フレームを処理するためのCNNエンコーダを用い、その後、特徴マップをK個の「スロットマップ」に空間的に分割する（K個のオブジェクトスロットに対応）。
• 各スロットマップは、共有重みのサブネットワーク（畳み込み層＋MLP）を介して独立にスロットベクトルに符号化され、パラメータ共有と不変性を実現する。
• 連続するフレーム間で時間的対照損失が適用され、同じスロットを時間的に対比（ポジティブペア）し、非連続な時間ステップのランダムなペair（ネガティブペア）と対照する。
• 異なるスロットベクトル間の不一致を最大化するスロット対照損失を導入し、多様性と分離性を促進する。
• 損失関数は2つの項を組み合わせる：(1) スロットの顕著性を向上させる時間的対照損失、(2) スロットの多様性を向上させるスロット対照損失、両者ともInfoNCE対照目的関数を用いる。
• モデルはアタリゲームの動画シーケンス上でエンドツーエンドに訓練され、オブジェクト位置の線形プローブ回帰と、スロット品質のための新規指標を用いた評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 時間的運動を活用することで、教師なし条件下で分離されたオブジェクト中心の表現を効果的に学習できるか？
• RQ2 スロット対照損失を導入することで、時間的対照のみの手法と比較して、学習されたオブジェクトスロットの多様性と特徴が向上するか？
• RQ3 提案されたスロットモジュラリティおよびコンパクトネス指標は、オブジェクト局在の下流タスク性能とどの程度相関するか？
• RQ4 スロット対照損失は分離性にどの程度寄与しており、性能向上に不可欠か？
• RQ5 スロット空間における対照的アプローチは、生成モデルおよび他の自己教師あり手法を上回る性能を発揮できるか？

主な発見

• SCNは20種類のアタリゲームで平均スロット正確度0.45を達成し、ランダム-CNN（0.39）を顕著に上回り、教師ありモデルと同等の性能を示した。
• スロットモジュラリティは多様性損失の導入により0.0045に向上（多様性損失なしでは0.0041）したが、その増加は限定的で、分離性に与える影響は小さいと示唆された。
• コンパクトネスは多様性損失ありで0.0137に向上し、スロットが単一のオブジェクトに集中していることを示唆したが、依然として教師ありベースラインには遠い。
• Freeway や Bowling のようなゲームでは、スロット正確度がそれぞれ0.83および1.00 R²を記録し、予測可能な運動に対して優れた性能を示した。
• Boxing や VideoPinball のような不規則な運動を示すゲームでは、CSWMが予測可能なダイナミクスに依存するため苦戦するのに対し、SCNは優れた性能を発揮した。
• アブレーションスタディでは、スロット多様性損失を削除するとコンパクトネスはわずかに向上するが、正確度は低下した。これは、強い分離性をもたらさないが、わずかな正則化効果があることを示唆した。