[論文レビュー] Test-Agnostic Long-Tailed Recognition by Test-Time Aggregating Diverse Experts with Self-Supervision

Yifan Zhang, Bryan Hooi+2 more|arXiv (Cornell University)|Jul 20, 2021

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 36

ひとこと要約

本稿では、テスト時分布の不確実性に依存しない長尾認識のためのTest-time Aggregating Diverse Experts（TADE）を提案する。トレーニング段階ではスキルが多様なエキスパートを学習し、テスト時において自己教師あり学習を用いて動的にそれらを統合する。本手法は、任意に歪んだテスト分布に対しても、3つのエキスパートのみで最先端の性能を達成し、テスト時クラス分布の事前知識がなくても未知の分布を効果的にシミュレートできる。

ABSTRACT

Existing long-tailed recognition methods, aiming to train class-balanced models from long-tailed data, generally assume the models would be evaluated on the uniform test class distribution. However, practical test class distributions often violate this assumption (e.g., being long-tailed or even inversely long-tailed), which would lead existing methods to fail in real-world applications. In this work, we study a more practical task setting, called test-agnostic long-tailed recognition, where the training class distribution is long-tailed while the test class distribution is unknown and can be skewed arbitrarily. In addition to the issue of class imbalance, this task poses another challenge: the class distribution shift between the training and test samples is unidentified. To handle this task, we propose a new method, called Test-time Aggregating Diverse Experts, that presents two solution strategies: (1) a new skill-diverse expert learning strategy that trains diverse experts to excel at handling different class distributions from a single long-tailed training distribution; (2) a novel test-time expert aggregation strategy that leverages self-supervision to aggregate multiple experts for handling various unknown test distributions. We theoretically show that our method has a provable ability to simulate the test class distribution. Extensive experiments verify that our method achieves new state-of-the-art performance on both vanilla and test-agnostic long-tailed recognition, where only three experts are sufficient to handle arbitrarily varied test class distributions. Code is available at https://github.com/Vanint/TADE-AgnosticLT.

研究の動機と目的

• 既存の長尾認識手法が均一なテスト時クラス分布を仮定しているという制限に対処すること。これは現実のシナリオではほとんど成立しない。
• トレーニングデータが長尾である場合に、テスト時における未知で任意のクラス分布シフトに対処する課題を解決すること。
• テスト分布の事前知識がなくても、任意の歪んだテスト分布に適応的に対処できる手法を開発すること。
• クラスの不均衡が予測不能な実用的・現実世界のテスト条件下でも、頑健な認識性能を実現すること。

提案手法

• スキルが多様なエキスパート学習戦略により、1つの長尾トレーニング分布上で複数のエキスパートを学習させ、それぞれが異なるクラス分布特性に特化するようにする。
• エキスパートは特定の種類のクラス不均衡処理に特化するように訓練され、多様なテスト時分布に一般化できるようにする。
• テスト時エキスパート統合機構は、入力特徴に基づいて自己教師あり学習を用いて複数のエキスパートを動的に組み合わせ、未知のテスト分布に適応する。
• テスト時統合において自己教師あり学習を活用し、ラベルなしのテストデータを前提に、エキスパートの選択と重み付けをガイドする。
• 理論的に、エキスパートアンサンブルのダイナミクスを通じて未知のテストクラス分布をシミュレートできることを証明する。
• フレームワークは、幅広いテスト分布シフトにわたって強い性能を発揮するために、わずか3つのエキスパートで十分である。

実験結果

リサーチクエスチョン

• RQ1 長尾分布で学習したモデルが、テスト時クラス分布の事前知識がなくても、任意の未知のテスト時クラス分布に一般化可能か？
• RQ2 1つの長尾トレーニングセットから、多様な潜在的なテスト時分布シフトをカバーできるように、エキスパートを効果的に訓練する方法は何か？
• RQ3 テストラベルが入手不可な状況下でも、自己教師ありテスト時統合が認識性能を向上させられるか？
• RQ4 多様なテスト分布にわたって頑健な性能を達成するために必要なエキスパートの最小数は何か？
• RQ5 提案手法が、分布シフト下でテスト分布を証明可能にシミュレートできるか？

主な発見

• 提案手法は、標準的およびテスト時アグノスティックな長尾認識ベンチマークの両方で最先端の性能を達成した。
• 任意に歪んだテスト分布に対しても、3つのエキスパートで十分であり、従来手法と比較して大幅に複雑性が低減された。
• 極端なテスト時クラス分布シフト、例えば逆長尾分布や極めて歪んだ分布に対しても、強力な一般化性能を示した。
• 自己教師ありテスト時統合により、テストラベルが入手不可な状況下でも正確なエキスパート重み付けが可能となり、頑健性が向上した。
• 理論的分析により、エキスパートアンサンブルのダイナミクスを通じて未知のテストクラス分布を証明可能にシミュレートできることを確認した。
• 実験的結果から、複数のデータセットおよび評価プロトコルにおいて一貫した性能向上が確認され、本手法の有効性が裏付けられた。