[論文レビュー] TOIST: Task Oriented Instance Segmentation Transformer with Noun-Pronoun Distillation

Pengfei Li, Beiwen Tian+5 more|arXiv (Cornell University)|Oct 19, 2022

Topic Modeling被引用数 9

ひとこと要約

本稿では、オブジェクトクエリにおける自己注意を用いてオブジェクトの好みをモデル化することで、タスク指向型インスタンスセグメンテーションを実現する1段階型のトランスフォーマー基盤手法であるTOISTを提案する。また、事前学習済みの名詞参照モデルから知識を転移するための新規な名詞代名詞蒸留フレームワークを導入し、蒸留によってCOCO-Tasksで+10.9% mAP^{box}、+3.8% mAP^{mask}のSOTA性能を達成した。

ABSTRACT

Current referring expression comprehension algorithms can effectively detect or segment objects indicated by nouns, but how to understand verb reference is still under-explored. As such, we study the challenging problem of task oriented detection, which aims to find objects that best afford an action indicated by verbs like sit comfortably on. Towards a finer localization that better serves downstream applications like robot interaction, we extend the problem into task oriented instance segmentation. A unique requirement of this task is to select preferred candidates among possible alternatives. Thus we resort to the transformer architecture which naturally models pair-wise query relationships with attention, leading to the TOIST method. In order to leverage pre-trained noun referring expression comprehension models and the fact that we can access privileged noun ground truth during training, a novel noun-pronoun distillation framework is proposed. Noun prototypes are generated in an unsupervised manner and contextual pronoun features are trained to select prototypes. As such, the network remains noun-agnostic during inference. We evaluate TOIST on the large-scale task oriented dataset COCO-Tasks and achieve +10.9% higher $ m{mAP^{box}}$ than the best-reported results. The proposed noun-pronoun distillation can boost $ m{mAP^{box}}$ and $ m{mAP^{mask}}$ by +2.8% and +3.8%. Codes and models are publicly available at https://github.com/AIR-DISCOVER/TOIST.

研究の動機と目的

• 与えられた動詞ベースの行動（例：「快適に座る」）に最も適したオブジェクトを特定する必要があるタスク指向型インスタンスセグメンテーションの課題に対処する。
• 複数の候補オブジェクト間の相対的好みをモデル化することで、動詞参照における固有の曖昧性を克服する。
• 1段階型でエンドツーエンド学習可能な手法を構築し、トランスフォーマーアーキテクチャ内の自己注意を用いてペアワイズのオブジェクト好みを自然に捉える。
• 推論時に代名詞入力（例：「何かに座る」）に対して一般化を向上させるために、学習時に特権的な名詞アノテーションを活用し、名詞に依存しない展開を可能にする。

提案手法

• 学習可能なオブジェクトクエリを備えたDETRスタイルのトランスフォーマー畳み込みエンコーダ・デコーダアーキテクチャに基づく1段階型インスタンスセグメンテーションフレームワークであるTOISTを提案する。
• 与えられた動詞的行動に対して、オブジェクトクエリ間の自己注意を用いて、候補オブジェクト間のペアワイズ関係および相対的好みをモデル化する。
• クラスタリングを用いて名詞プロトタイプを生成するため、名詞アノテーションの特徴を活用して教師モデルを動詞＋名詞プロンプト（例：「椅子に座る」）で訓練する。
• 教師から得た知識を用いて、代名詞特徴を用いて名詞プロトタイプから選択する学生モデルを、動詞＋代名詞プロンプト（例：「何かに座る」）で訓練する。
• 2段階の蒸留プロセスを実装する：まず、教師モデルの名詞特徴をクラスタリングしてプロトタイプを形成し、次に、学生モデルをそのプロトタイプに代名詞特徴を一致させるように訓練する。
• 教師の出力に基づくオブジェクトの相対順位を学習するように学生モデルを促す「好みの蒸留損失」を導入し、推論時に実際の名詞にアクセスできない状況でも有効である。

実験結果

リサーチクエスチョン

• RQ1 1段階型のトランスフォーマー基盤手法は、動詞ベースの行動に対するオブジェクト好みをインスタンスセグメンテーションで効果的にモデル化できるか？
• RQ2 事前学習済みの参照表現モデルから得られる特権的な名詞情報は、代名詞ベースの動詞参照性能を向上させるために効果的に転送可能か？
• RQ3 名詞プロトタイプから代名詞特徴への知識蒸留は、タスク指向型インスタンスセグメンテーションにおける一般化性能とロバストネスを向上させるか？
• RQ4 クラスタ数（K）とタスク数（n_task）の変更が、蒸留フレームワークの性能に与える影響は何か？
• RQ5 提案された名詞代名詞蒸留フレームワークは、未学習の動詞に対しても一般化可能であり、微調整なしに高い性能を維持できるか？

主な発見

• TOISTはCOCO-Tasksデータセットで44.1% mAP^{box}という新たなSOTAを達成し、報告済みの最良結果比で+10.9%の向上を示した。
• 提案された名詞代名詞蒸留フレームワークは、蒸留なしのベースラインTOISTと比較して、mAP^{box}を+2.8%、mAP^{mask}を+3.8%向上させた。
• アブレーションスタディの結果、名詞プロトタイプのクラスタリングにおいてK=3が最良の性能を示し、mAP^{box}はK=3の時点で44.1%にピークを迎えた。
• 意味のない代名詞トークン（例：「abcd」）を用いても、蒸留フレームワークの有効性が保たれ、入力の変動に対してロバストであることが示された。
• 小さなタスク数（n_task = 1）がより良い性能をもたらし、特に「足をのせる」で+3.0% mAP^{box}、「火からポテトを取り出す」で+4.3% mAP^{box}の向上が得られた。これは、複雑さの低減が蒸留効率を向上させることを示している。
• 定性的な結果から、TOISTはアノテーションにないが妥当なアフォーダンス候補（例：ボトルを開けるために使われるテーブル）を検出でき、一部のケースでは正解アノテーションよりも正確なマスクを生成した。