[論文レビュー] Improving ProtoNet for Few-Shot Video Object Recognition: Winner of ORBIT Challenge 2022

Li Gu, Zhixiang Chi+3 more|arXiv (Cornell University)|Oct 1, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、ORBIT 2022 Few-Shot Video Object Recognition Challenge の優勝解法を提示する。ProtoNetを改善するための3つのキーテクニックを導入している：変換器エンコーダを用いた埋め込み適応によるプロトタイプの判別能向上、均一な動画クリップサンプリングによる一貫した時間的カバレッジとサンプリングバイアスの低減、エッジ検出を用いた無効なフレーム同定による低情報フレームのフィルタリング。ベースラインと比較して5.39%の絶対的精度上昇を達成し、ORBITベンチマークで71.69%のフレームレベル精度を達成した。

ABSTRACT

In this work, we present the winning solution for ORBIT Few-Shot Video Object Recognition Challenge 2022. Built upon the ProtoNet baseline, the performance of our method is improved with three effective techniques. These techniques include the embedding adaptation, the uniform video clip sampler and the invalid frame detection. In addition, we re-factor and re-implement the official codebase to encourage modularity, compatibility and improved performance. Our implementation accelerates the data loading in both training and testing.

研究の動機と目的

• 視覚障害者が提供する低品質で長さがばらつきのある動画クリップを想定した、現実的でノイズの多い環境下における少サンプル動画物体認識の課題に対処すること。
• ノイズが多くごみだらけの動画入力や長さが異なるシーケンスに直面した際の、ProtoNetベースのモデルのロバスト性と精度を向上させること。
• メタラーニングフレームワークにおける動画認識のためのプロトタイプ品質とサンプリング効率を向上させるために、適応的・均一的・フィルタリング機構を導入すること。
• 将来の研究における再現性と拡張性を支援するため、トレーニングと推論の両方の速度を向上させるデータパイプラインの最適化を行うこと。

提案手法

• エピソードごとのプロトタイプに、プロトタイプ間の関係をモデル化する1層の変換器エンコーダを用いた埋め込み適応を適用し、各エピソードにおける判別的表現を強化する。
• ランダムサンプリングに代えて、長さが異なる動画の間で一貫した時間的カバレッジを確保するため、均一な動画クリップサンプラーを導入し、短い動画での過剰サンプリングや長い動画での不足サンプリングを低減する。
• エッジ検出器（例：Canny）を事前学習済みとして用い、経験的閾値を設定することで、背景のみのフレームなど情報量が極めて少ないフレームを同定・破棄する無効フレーム検出を実装する。
• サンプルされたクリップの多様性を高め、一般化性能を向上させるために、データ拡張を統合する。
• 元のORBITコードベースを再構築・最適化し、トレーニングおよび推論の両段階で2.7倍以上の高速化を達成したデータローディングを実現した。
• 全パイプラインはEfficientNet-B0を特徴抽出器として用い、分類にはLITEフレームワークに従い、コサイン類似度を用いたエピソード学習を適用している。

実験結果

リサーチクエスチョン

• RQ1 サポート動画が短く、ノイズが多く、長さがばらつきがある状況下で、少サンプル動画認識におけるプロトタイプ品質をどのように向上できるか？
• RQ2 長さが異なる動画シーケンスにおいて、少サンプル学習の過程で分布バイアスを最小限に抑え、時間的カバレッジを最大化するサンプリング戦略は何か？
• RQ3 エッジベースの無効フレーム検出は、繰り返しや背景のみのフレームがモデル性能に与える影響をどの程度低減できるか？
• RQ4 変換器エンコーダによる埋め込み適応は、エピソード学習におけるクラス間判別能を向上させられるか？
• RQ5 現実の少サンプル動画ベンチマークにおいて、データローディングパイプラインの最適化によって得られる性能向上はどの程度か？

主な発見

• 提案手法は、ベースラインのProtoNetに比べて71.69%のフレームレベル精度を達成し、5.39%の絶対的精度上昇を実現した。
• 埋め込み適応のみで、プロトタイプ間の注目メカニズムにより判別能が向上し、2.87ポイントの精度上昇をもたらした。
• 均一な動画クリップサンプリングにより、サンプリングバイアスが低減され、時間的カバレッジが一貫するようになり、1.52ポイントの精度上昇が達成された。
• エッジ検出による無効フレーム検出により、情報量が少ないフレームがフィルタリングされ、0.12ポイントの精度上昇が得られた。
• 再構築されたデータパイプラインにより、トレーニングおよびテストの両段階でデータローディングが2.7倍以上高速化され、トレーニング効率が顕著に向上した。
• 本手法は、ORBIT 2022チャレンジの12件の提出の中でも最高精度を記録し、17人のユーザーのうち11人で他のすべてのエントリーよりも優れた性能を発揮した。