[論文レビュー] AlignNet: Unsupervised Entity Alignment

Antonia Creswell, Kyriacos Nikiforou+9 more|arXiv (Cornell University)|Jul 17, 2020

Multimodal Machine Learning Applications参考文献 35被引用数 8

ひとこと要約

AlignNet は、真値ラベルを一切使用せずに時系列に跨るオブジェクト対応問題を解く教師なし深層学習フレームワークである。動的モデルを用いてオブジェクトの状態遷移を予測し、トランスフォーマーに基づくパーミュテーションモジュールで現在のオブジェクトを以前に整合されたものと照合することで、遮蔽や再出現に対しても頑健なトラッキングを実現する。

ABSTRACT

Recently developed deep learning models are able to learn to segment scenes into component objects without supervision. This opens many new and exciting avenues of research, allowing agents to take objects (or entities) as inputs, rather that pixels. Unfortunately, while these models provide excellent segmentation of a single frame, they do not keep track of how objects segmented at one time-step correspond (or align) to those at a later time-step. The alignment (or correspondence) problem has impeded progress towards using object representations in downstream tasks. In this paper we take steps towards solving the alignment problem, presenting the AlignNet, an unsupervised alignment module.

研究の動機と目的

• 動画シーケンスにおける時系列に跨るオブジェクトレベル表現の教師なし整合を実現すること。
• 連続フレーム間のエンティティ間の対応を解消することで、強化学習や計画におけるオブジェクトベースの学習を可能にすること。
• オブジェクトが消失・再出現する部分観察可能な環境への整合の拡張。
• 長時間の遮蔽にわたっても一貫したオブジェクト同一性を維持するメモリ拡張版（Memory AlignNet）の開発。
• エンティティ対応に真値ラベル、ボクセルボックス、特権情報への依存を排除すること。

提案手法

• 以前に整合されたエンティティの状態遷移を、その直前の状態と行動に基づいて予測するためのダイナミクスモデル（LSTM）を用いる。
• トランスフォーマーに基づくパーミュテーションヘッドを用いて、現在フレームのエンティティを以前に整合されたものと一致する順序に再配置するパーミュテーション行列を計算する。
• 学習されたパーミュテーション行列を適用して、現在フレームのオブジェクト特徴を直前のタイムステップで整合されたエンティティと一致させる。
• 個々のオブジェクト表現を時間経過で保持・更新するスロット型LSTMメモリモジュール（Memory AlignNet）を導入する。
• 予測されたエンティティ特徴と整合された特徴の間のコントラスト型損失を用いて、エンド・トゥ・エンドで教師なしにシステム全体を訓練する。
• オブジェクトの持続性に起因するインダクティブバイアスを活用し、各追跡オブジェクトの履歴を蓄積するメモリスロットを維持する。

実験結果

リサーチクエスチョン

• RQ1 真値対応情報やボクセルボックスが存在しない状況でも、教師なしモデルが時系列に跨るオブジェクトレベル表現を適切に整合できるか？
• RQ2 外見が類似したオブジェクトが干渉・遮蔽する状況で、モデルが曖昧なオブジェクト同一性をどれほど正しく解消できるか？
• RQ3 部分観察可能な環境において、オブジェクトの長時間の遮蔽と再出現をモデルが追跡できるか？
• RQ4 スロットベースのメモリを組み込むことで、新規出現・消滅・再出現を伴う動的オブジェクト集団のタスクで性能が向上するか？
• RQ5 オブジェクト整合およびダイナミクス予測において、教師ありまたはヒューリスティックベースのベースラインと比較して、モデルの性能はどの程度か？

主な発見

• AlignNet は、衝突時の曖昧なオブジェクト同一性を解消するためにダイナミクスを活用することで、完全観察可能な環境（例：2D SpriteWorld や 3D Physical Concepts: Continuity）で優れた性能を達成する。
• Physical Concepts: Continuity タスクにおいて、AlignNet は短時間の遮蔽、照明の変化、視点の変化に対しても効果的に対処できる。
• Unity Room 環境および Physical Concepts Free-Form データセットにおいて、Memory AlignNet はベースラインを著しく上回り、特に新規オブジェクトの出現や再出現の処理において優れた性能を示す。
• 長時間の遮蔽後にオブジェクトが再出現する状況でも、メモリに恒久的なオブジェクト表現を維持することで、モデルは頑健な性能を発揮する。
• 真値ラベルやボクセルボックスにアクセスできない状況でも、教師なし訓練方式により効果的な整合が実現可能であり、これは再識別やトラッキング分野の多数の先行研究とは対照的である。
• スロット型LSTMメモリ機構により、時間経過に伴い個々のオブジェクトの離散的で持続的な表現が成功裏に維持され、長時間にわたるトラッキングが可能になる。