[論文レビュー] Visual Concepts Tokenization

Tao Yang, Yuwang Wang+2 more|arXiv (Cornell University)|May 20, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、視覚的概念を画像から独立的で順序に依存しない概念トークンに分離する、自己教師付きのトランスフォーマー基盤フレームワークである Visual Concepts Tokenization (VCT) を提案する。クロスアテンションと独創的な概念分離損失を用いて、視覚的概念を分離する。VCT は、分離表現学習およびシーン分解において最先端の性能を達成し、CLEVR で 0.923 ARI、Tetris で 0.760 MSC を達成する。また、言語に整合したトークン操作によりゼロショットの画像編集と再結合が可能である。

ABSTRACT

Obtaining the human-like perception ability of abstracting visual concepts from concrete pixels has always been a fundamental and important target in machine learning research fields such as disentangled representation learning and scene decomposition. Towards this goal, we propose an unsupervised transformer-based Visual Concepts Tokenization framework, dubbed VCT, to perceive an image into a set of disentangled visual concept tokens, with each concept token responding to one type of independent visual concept. Particularly, to obtain these concept tokens, we only use cross-attention to extract visual information from the image tokens layer by layer without self-attention between concept tokens, preventing information leakage across concept tokens. We further propose a Concept Disentangling Loss to facilitate that different concept tokens represent independent visual concepts. The cross-attention and disentangling loss play the role of induction and mutual exclusion for the concept tokens, respectively. Extensive experiments on several popular datasets verify the effectiveness of VCT on the tasks of disentangled representation learning and scene decomposition. VCT achieves the state of the art results by a large margin.

研究の動機と目的

• 人為的アノテーションによる教師なしで、生のピクセルから分離可能な視覚的概念を学習する汎用的かつ自己教師付きのフレームワークの開発。
• オブジェクトレベルおよび属性レベルの視覚的概念を同時に捉えることのできる、分離表現学習とシーン分解を統合した1つのアーキテクチャの構築。
• 概念トークンが独立的で、順序に依存せず再構築可能であることを保証し、完全性、分離性、無秩序性の性質を満たす。
• 事前学習済み CLIP を用いて言語に整合した概念トークンの操作により、ゼロショットでの画像編集および再結合を可能にする。
• ハイパーパrameterのチューニングを最小限に抑えつつ、大規模データセットへのスケーラビリティを確保する。

提案手法

• VCT は、概念トークンライザーと概念デトークンライザーを備えたトランスフォーマー基盤のアーキテクチャを採用し、学習可能な概念プロトタイプをクエリとして用いて、画像トークンからのクロスアテンションにより視覚的情報を抽出する。
• 概念トークン同士に自己アテンションを設けないことで、情報漏洩を防ぎ、分離性を保持するとともに、トークン順序の無秩序性を実現する。
• 1つの概念トークンを変更しても、再構築画像における対応する視覚的変化にのみ影響を与えるように、相互排他的性を強制するための独創的な概念分離損失を導入する。
• 画像トークンは、位置埋め込みを概念トークンに適用しないことで、無秩序性と独立性を維持しながら、レイヤーごとにクロスアテンションで処理される。
• フレームワークは、トークナイザーとして事前学習済み CLIP 画像エンコーダーを用い、CLIP のテキストエンコーダーを活用して言語に整合した視覚的概念の編集およびデコードを実現する。
• 概念トークンは複数の画像に共有され、エンドツーエンドで学習され、オブジェクトの形状、色、スケール、背景といったデータ駆動型の視覚的概念を表現する。

実験結果

リサーチクエスチョン

• RQ1 完全に自己教師付きでアテンションベースのフレームワークが、独立的かつ順序に依存しない分離視覚的概念トークンを学習できるか？
• RQ2 提案されたフレームワークが、同時に分離表現学習とシーン分解の両面で最先端の性能を達成できるか？
• RQ3 言語に整合した視覚的トークンの操作により、概念トークンを用いてゼロショットでの画像編集および再結合が可能か？
• RQ4 明示的な教師信号や事前定義されたテンプレートに依存せず、意味的でデータ駆動型の視覚的概念を学習できるか？
• RQ5 概念分離損失が、概念の変異同士の相互排他的性を効果的に強制できるか？

主な発見

• VCT は CLEVR データセットで 0.923 ARI、Tetris データセットで 0.760 MSC を達成し、COMET（0.916 ARI、0.713 MSC）、MONET（0.873 ARI、0.701 MSC）、Slot Attention（0.818 ARI、0.750 MSC）を上回る性能を示した。
• フレームワークは、異なるシーン間で概念トークンを交換することで、ゼロショットでの画像再結合を可能にし、学習データにないオブジェクトを含む分布外の画像を生成できる。
• 1つの概念トークン（例：オブジェクトのサイズ）の線形補間により、滑らかで意味的に整合した画像遷移が得られ、連続的かつ分離可能な制御が可能であることを示した。
• CLIP のテキストエンコーダーを用いたテキストプロンプトからのデコードにおいて、VCT はオブジェクトタイプ（例：ボール、立方体、シリンダー）と属性レベル（例：小さい、大きな）を明確に区別できた。
• Objects-Room データセットでは、VCT がオブジェクトの識別子とグローバル要因（例：背景色、床色）の両方を捉えるのに対し、COMET はこのようなグローバル属性をうまく捉えられなかった。
• 概念トークン同士に自己アテンションを設けず、共有プロトタイプを用いたクロスアテンションを採用することで、効率的な推論が可能である：1枚の画像に対して1回の順伝播で十分である。