[論文レビュー] HuBo-VLM: Unified Vision-Language Model designed for HUman roBOt interaction tasks

Zichao Dong, Weikun Zhang+4 more|arXiv (Cornell University)|Aug 24, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用数 3

ひとこと要約

HuBo-VLM は、トランスフォーマーに基づくアーキテクチャを用いて、視覚的接地やオブジェクト検出などの多様なタスクを一貫したシーケンス生成問題として扱う、統合型の視覚言語モデルを提案する。共通のエンコーダデコーダ型トランスフォーマーを用い、さまざまなマルチモーダルデータセットで事前学習およびインstructチューニングすることで、Talk2CarベンチマークでSOTA（AP50: 76.74）を達成し、タスク固有のヘッドを必要とせず、エンドツーエンドの能力と優れた一般化性能を示した。

ABSTRACT

Human robot interaction is an exciting task, which aimed to guide robots following instructions from human. Since huge gap lies between human natural language and machine codes, end to end human robot interaction models is fair challenging. Further, visual information receiving from sensors of robot is also a hard language for robot to perceive. In this work, HuBo-VLM is proposed to tackle perception tasks associated with human robot interaction including object detection and visual grounding by a unified transformer based vision language model. Extensive experiments on the Talk2Car benchmark demonstrate the effectiveness of our approach. Code would be publicly available in https://github.com/dzcgaara/HuBo-VLM.

研究の動機と目的

• エンドツーエンドのヒューマンロボットインタラクションを実現するため、一貫した視覚言語モデルによって、複数の認識タスクを統合的に扱う。
• 領域提案に依存するか、タスク一般化が不十分であるといった従来のVLMの限界を、統合型のシーケンス・ツー・シーケンスフレームワークにより克服する。
• 大規模言語モデルを避けて、軽量で効率的なトランスフォーマー・アーキテクチャを用いることで、ロボットのハードウェア上での効率的デプロイを可能にする。
• インstructベースのプロンプトとファインチューニングにより、ゼロショットおよびフェイントショットの適応を可能にする。

提案手法

• ロボットセンサーからのRGB画像を処理するためのビジョンエンコーダ（ResNet152）と、自然言語指示を処理するBERTベースの言語エンコーダを用いる。
• 統合型トランスフォーマー・デコーダが共通のタスクソルバとして機能し、バウンディングボックスやセグメンテーションマスクに対応するテキストシーケンスを生成する。
• COCO、VQAv2、RefCOCO、ImageNetなどを含む15種類の多様なマルチモーダルデータセットの混合データセットで事前学習を行い、視覚的・言語的表現の統合的理解を学習する。
• 各タスクのファインチューニングには、1タスクあたり約1,000件のアノテート済み例のみを用い、過学習を防ぐために小さな初期学習率を設定する。
• タスクを一貫したテキスト生成として統合：例えば、視覚的接地では「(x0, y0, x1, y1)」のようなシーケンスを出力し、後続処理でバウンディングボックスに変換する。
• インstructエンコーダにより、アーキテクチャの変更なしにゼロショットおよびフェイントショットの一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のコンponentを一切用いずに、多様なヒューマンロボットインタラクションタスクにおいて強力な性能を発揮できる統合型視覚言語モデルは構築可能か？
• RQ2 インストラクションチューニングは、ロボティクス分野における新しい認識タスクのフェイントショット適応にどの程度効果的か？
• RQ3 実世界のロボット制約下で、MDETR や Deformable DETR よりも複雑なモデルに比べ、軽量なBERTベースのデコーダが視覚的接地タスクで優れた性能を発揮するか？
• RQ4 1つの事前学習済みモデルが、異なる視覚的・言語的ベンチマークおよび下流タスクにどの程度一般化できるか？

主な発見

• HuBo-VLM は Talk2Carベンチマークで AP50 76.74 を達成し、Deformable-MDETR（74.4） や Stacked VL-BERT（71） といった比較手法をすべて上回った。
• ファインチューニングに約1,000件の例しか使用しないにもかかわらず、フェイントショット一般化性能が顕著に高く、優れた汎化能力を示した。
• 定性的な結果から、HuBo-VLM はごちゃついたシーンにおいても複雑な自然言語指示を正確に特定されたオブジェクトにマッピングできており、推論能力を有していることが示された。
• 統合型のシーケンス・ツー・シーケンスアプローチにより、アンカーボックスや回帰ヘッドといったタスク固有のヘッドの必要性が排除され、デプロイと拡張性が簡素化された。
• 小規模なBERTベースのデコーダを採用することで、大規模言語モデルを避けることで高い効率性を維持し、埋め込み型ロボットシステムに適した設計が実現された。
• 15のデータセットの多様な混合データセットでの事前学習により、接地、キャプション、VQA などのタスクにおいて、強力なゼロショットおよびフェイントショットの転移性能が達成された。