[論文レビュー] 3rd Continual Learning Workshop Challenge on Egocentric Category and Instance Level Object Understanding

Lorenzo Pellegrini, Chenchen Zhu+8 more|arXiv (Cornell University)|Dec 13, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本論文は、カテゴリおよびインスタンスレベルのオブジェクト理解のための継続的学習アルゴリズムを評価する目的で、EgoObjectsデータセットを用いた大規模なエゴセントリックオブジェクト検出ベンチマークを用いた、第3回継続的学習におけるコンピュータビジョン（CLVision）ワークショップチャレンジを提示する。チャレンジは、過去のデータにアクセスできない状況下での段階的経験におけるオブジェクト検出における深刻な忘却の緩和に焦点を当てており、上位の提出物は経験バランス型リプレイと蒸留技術を用いて54.7 mAPを達成した。

ABSTRACT

Continual Learning, also known as Lifelong or Incremental Learning, has recently gained renewed interest among the Artificial Intelligence research community. Recent research efforts have quickly led to the design of novel algorithms able to reduce the impact of the catastrophic forgetting phenomenon in deep neural networks. Due to this surge of interest in the field, many competitions have been held in recent years, as they are an excellent opportunity to stimulate research in promising directions. This paper summarizes the ideas, design choices, rules, and results of the challenge held at the 3rd Continual Learning in Computer Vision (CLVision) Workshop at CVPR 2022. The focus of this competition is the complex continual object detection task, which is still underexplored in literature compared to classification tasks. The challenge is based on the challenge version of the novel EgoObjects dataset, a large-scale egocentric object dataset explicitly designed to benchmark continual learning algorithms for egocentric category-/instance-level object understanding, which covers more than 1k unique main objects and 250+ categories in around 100k video frames.

研究の動機と目的

• エゴセントリックオブジェクト検出のための複雑で現実世界に即したベンチマークを導入することで、コンピュータビジョンにおける継続的学習を前進させること。
• 継続的分類とは比較してあまり研究が進んでいない継続的オブジェクト検出の分野を活性化させること。
• 大規模で長尾分布を示す、段階的なオブジェクト検出タスクにおいて、最先端の継続的学習手法を評価・比較すること。
• 現実世界への実装に適したメモリ効率的で頑健な継続的学習ソリューションの開発を促進すること。

提案手法

• チャレンジは、約10万フレーム、1110個のユニークなオブジェクト、250種類以上のカテゴリを含む大規模なエゴセントリック動画データセット「EgoObjectsデータセット」を用いた。
• 参加者は、過去のデータにアクセスできない状況を模倣するため、400以上の経験を段階的に通してオブジェクト検出器を訓練した。
• 評価は、mAPとAP50指標を用いたカテゴリレベルおよびインスタンスレベルの検出性能に焦点を当てた。
• 上位の手法は、経験バランス型リプレイバッファ、蒸留技術、およびCOCOまたはLVISで事前学習されたResNetベースのバックボーンを採用した。
• コンテストは複数トラックの構成を採用しており、インスタンス分類、カテゴリ検出、インスタンス検出の3つのトラックがあり、最終評価は保留されたテストセットを用いて実施された。
• 一般化性能と忘却の緩和が評価対象であり、段階的学習フェーズ全体にわたり性能が測定された。

実験結果

リサーチクエスチョン

• RQ1 経験、動画、インスタンスのバランス型リプレイ戦略の違いが、継続的オブジェクト検出性能にどのように影響するか？
• RQ2 知識蒸留は、継続的オブジェクト検出における深刻な忘却をどの程度軽減できるか？
• RQ3 既存の検出モデルは、深刻な忘却を伴わずに、エゴセントリック動画における長尾的で段階的なクラスストリームに一般化できるか？
• RQ4 現実世界のエゴセントリック環境において、mAPやAP50といった性能指標は、さまざまな継続的学習設定でどのように変化するか？
• RQ5 継続的オブジェクト検出で最高のパフォーマンスを発揮するための、主なアーキテクチャ的およびトレーニング設計上の選択肢は何か？

主な発見

• 最多得点の提出（Tecent Youtu Lab）は、経験バランス型リプレイバッファと知識蒸留を用いて54.7 mAPおよび61.2 AP50を達成した。
• 2位のチーム（NUS&A*STAR）は、動画バランス型リプレイバッファとFaster R-CNNおよびResNet50を用いて45.4 mAPおよび56.0 AP50を達成した。
• 3位の提出（Angelo Menezes）は、インスタンスバランス型リプレイバッファとFCOSおよびResNet50を用いて41.7 mAPおよび51.1 AP50を達成した。
• 上位のモデルはすべて、完全なリプレイバッファに依存しており、継続的検出において高いパフォーマンスを発揮するにはそれが不可欠であることが示された。
• 上位2チームは知識蒸留技術を採用しており、検出ヘッドにおける忘却の緩和にその有効性が示された。
• チャレンジは、インスタンス分類トラックで360件の有効な提出、カテゴリ検出で105件、インスタンス検出で53件の提出を記録し、コミュニティの強い関与がうかがえた。