[論文レビュー] The Devil is in the Tails: Fine-grained Classification in the Wild

Grant Van Horn, Pietro Perona|arXiv (Cornell University)|Sep 5, 2017

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 137

ひとこと要約

この論文は、長尾（テール）分布を持つ実世界データ（eBird、iNaturalist、Pasadena Trees）が、最先端ネットワークを用いた細分類性能にどのように影響するかを分析し、頭部クラスは高性能だが尾部クラスは著しく劣化し、頭部から尾部への転移は最小限であることを示している。

ABSTRACT

The world is long-tailed. What does this mean for computer vision and visual recognition? The main two implications are (1) the number of categories we need to consider in applications can be very large, and (2) the number of training examples for most categories can be very small. Current visual recognition algorithms have achieved excellent classification accuracy. However, they require many training examples to reach peak performance, which suggests that long-tailed distributions will not be dealt with well. We analyze this question in the context of eBird, a large fine-grained classification dataset, and a state-of-the-art deep network classification algorithm. We find that (a) peak classification performance on well-represented categories is excellent, (b) given enough data, classification performance suffers only minimally from an increase in the number of classes, (c) classification performance decays precipitously as the number of training examples decreases, (d) surprisingly, transfer learning is virtually absent in current methods. Our findings suggest that our community should come to grips with the question of long tails.

研究の動機と目的

• 野外での長尾（ヘッド-テイル）分布が、細粒度の視覚分類にどのように影響するかを強調する。
• よく表現されたヘッドクラスとまばらに表現されたテールクラスの間の性能ギャップを定量化する。
• 単一ドメインの長尾設定内で、転移学習とクラス間知識伝達を評価する。

提案手法

• ImageNetで事前学習済みのInception-v3を用い、eBirdから作成された様々な長尾・均一データセットで全層をファインチューニングする。
• クラスごとのヘッド/テイル分割と画像数を制御した、均一データセット、近似長尾データセット、完全長尾データセットを構築する。
• サンプル学習 regimes を含む均一採取と自然サンプリングを比較し、ヘッド-テイルを結合した学習 vs ヘッドのみ・テイルのみの分離学習を比較する。
• テスト時のセンタークロップで、検証/テスト分割のトップ1精度を用いて評価する。
• ヘッド/テイルデータを変化させ、ヘッドのみ・テイルのみ・結合学習の結果を報告することで転写効果を分析する。

実験結果

リサーチクエスチョン

• RQ1 単一ドメイン内でのトレーニング画像の長尾分布は、細粒度分類にどのように影響するか。
• RQ2 1つのモデルを訓練した場合、ヘッドデータとテイルデータが全体精度とテールクラス精度に与える影響は何か。
• RQ3 十分に表現されたヘッドクラスから、まばらに表現されたテールクラスへの転移学習または知識伝達は有意であるか。
• RQ4 サンプリング戦略（均一分布 vs 自然分布）は、長尾設定におけるヘッドクラスとテールクラスの性能に影響を与えるか。

主な発見

• 各クラスに数千の画像がある場合、細粒度精度は優れているが、テールクラスの例が減少すると著しく低下する。
• 十分なデータがある場合、クラス数を増やしても性能はわずかにしか劣らない；データ量が精度を駆動する要因で、クラス数よりも大きい。
• 現在のモデルでは、ヘッドクラスとテールクラス間の転移学習はほとんど顕著ではない；ヘッドクラスのデータを追加しても、同一ドメイン内でテールクラスの性能が意味的に改善されない。
• ヘッドクラスは自然サンプリングの恩恵を受けるが、テールクラスは共同訓練時にヘッドクラスデータからの転移効果が限定的、またはほとんどない。
• ヘッドクラスが豊富なデータで訓練されてもテール性能は依然として低く、低ショット学習や転移学習アプローチの必要性を示している。