[論文レビュー] ORBIT: A Real-World Few-Shot Dataset for Teachable Object Recognition

Daniela Massiceti, Luisa Zintgraf+7 more|arXiv (Cornell University)|Jan 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 3

ひとこと要約

本論文では、視覚に障害を有する／視覚に障害を有しないユーザーがスマートフォンで収録した486種類の物体からなる3,822本の動画を含む、現実世界の少数-shot動画データセットORBITを紹介する。このデータセットは、教えることのできるオブジェクト認識器をベンチマーク化することを目的としており、ベンチマークで新たな最先端の成績を達成した。これは、現実世界の少数-shot設定における高い変動性に対する耐性の重要性を示しており、洗練されたデータセットにとどまらない現実世界のビジョン応用の発展の基盤を提供する。

ABSTRACT

Object recognition has made great advances in the last decade, but predominately still relies on many high-quality training examples per object category. In contrast, learning new objects from only a few examples could enable many impactful applications from robotics to user personalization. Most few-shot learning research, however, has been driven by benchmark datasets that lack the high variation that these applications will face when deployed in the real-world. To close this gap, we present the ORBIT dataset and benchmark, grounded in the real-world application of teachable object recognizers for people who are blind/low-vision. The dataset contains 3,822 videos of 486 objects recorded by people who are blind/low-vision on their mobile phones. The benchmark reflects a realistic, highly challenging recognition problem, providing a rich playground to drive research in robustness to few-shot, high-variation conditions. We set the benchmark's first state-of-the-art and show there is massive scope for further innovation, holding the potential to impact a broad range of real-world vision applications including tools for the blind/low-vision community. We release the dataset at https://doi.org/10.25383/city.14294597 and benchmark code at https://github.com/microsoft/ORBIT-Dataset.

研究の動機と目的

• 視覚に障害を有する人々を対象とした実用的応用に根ざした、現実世界のベンチマークを導入することで、少数-shot学習研究におけるギャップを埋める。
• 収集済みのベンチマークとは異なり、不適切なフレーミング、遮蔽、ぼやけ、多様な照明条件といった現実世界の条件における高い変動性を捉えるデータセットを開発する。
• 個人のカスタマイズ性と計算コストを測定する、ユーザー中心の少数-shot学習ベンチマークを構築し、スマートフォンデバイス上の現実世界の展開制約を反映する。
• 洗練された、一般化可能な少数-shot動画認識を推進するため、飽和した構造的で洗練されたベンチマークを超えた、挑戦的で現実的なテストベッドを提供する。
• 公開されたデータセットとベンチマークコードを通じて、現実的で高い変動性を持つ条件下での動画ベースの少数-shot学習およびトランスファーラーニングの研究を可能にする。

提案手法

• 77名の視覚に障害を有する／視覚に障害を有しない個人が、日常の環境でスマートフォンを用いて486種類の異なる物体の3,822本の動画を収集した。
• ユーザーが少数の例動画を提供してモデルを訓練し、自身の個人的なオブジェクト認識ニーズに合わせて学習する「教えることのできるオブジェクト認識器（TORs）」に基づいた少数-shotベンチマークを設計した。
• フレームレベルおよび動画レベルの精度に加え、推論時間と個々のユーザーへのモデルのカスタマイズ性を測定する、新しい評価プロトコルを策定した。
• 時系列集約と特徴学習を用いて動画入力に適応した4つの最先端の少数-shot学習モデル（CNAPs、ProtoNets、MAML、FineTuner）を実装・評価した。
• メタラーニング戦略を用いて、少数の例で多様なオブジェクトカテゴリを学習し、現実世界の適応シナリオを模倣した。
• FTR（フレーム対動画認識比）やカスタマイズスコアといった指標を導入し、現実世界の計算制約と使いやすさの制約を反映した。

実験結果

リサーチクエスチョン

• RQ1 エンドユーザーが制御不能な環境で収録した高変動性の現実世界データに対して、少数-shot動画認識モデルは効果的に一般化できるか？
• RQ2 標準的なベンチマーク（例：mini-ImageNet）と比較して、現実世界の低品質な動画データで訓練されたモデルの性能はどのように変化するか？
• RQ3 少数の例で新しいユーザーおよび新しいオブジェクトにメタ学習されたモデルは、スマートフォンデバイス上で低推論コストを維持しながらどれほど適応できるか？
• RQ4 1オブジェクトあたりのトレーニング動画数や1ユーザーあたりのオブジェクト数を変化させた場合、モデルの一般化性能およびカスタマイズ性にどのような影響があるか？
• RQ5 合成データまたは収集済みデータセットではなく、多様な現実世界の動画でメタトレーニングすることで、耐障害性が向上するか？

主な発見

• ORBITベンチマークは、少数-shot動画認識分野で新たな最先端の成績を達成した。最高性能のモデルはFineTuner手法を用いて61.13％の動画レベル精度を達成した。
• ORBITで訓練されたモデルは、mini-ImageNetなどの標準ベンチマークで評価された際に顕著な性能低下を示した。これは、既存のデータセットでは現実世界の変動性が捉えられていないことを示している。
• 1オブジェクトあたりのトレーニング動画数を増やすことで性能が向上するが、1オブジェクトあたり50本を超えると利得が鈍り、限界に達することが示された。
• テスト時に遭遇するオブジェクト数より少ないオブジェクトでメタトレーニングを行うと、性能低下はわずかにとどまるため、未観測のオブジェクト数に対しても強い一般化性能を示している。
• 50を超えてトレーニングタスク数（T_train）を増やしても、性能向上は限定的である。これは、データ収集において情報量の高いフレームを優先すべきであることを示唆している。
• ベンチマークは、現在のモデルがフレーミングの変動、遮蔽、ぼやけに対して苦戦していることを明らかにした。これは、現実世界での展開に際して、耐障害性の向上が強く求められていることを示している。