[論文レビュー] Texture Bias Of CNNs Limits Few-Shot Classification Performance

Sam Ringer, Will Williams+3 more|arXiv (Cornell University)|Oct 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 14被引用数 5

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）のテクスチャバイアスが、トレーニングクラスとテストクラスの間で分布シフトが生じる状況下で、少サンプル分類性能を著しく制限することを示している。実写画像とスタイライズド画像の混合データで事前学習することでテクスチャバイアスを低減し、テスト時増幅を適用することで、単純な非パrametric手法を用いて、5ショット5ウェイのミニImageNetベンチマークで80.4%の最先端性能を達成した。

ABSTRACT

Accurate image classification given small amounts of labelled data (few-shot classification) remains an open problem in computer vision. In this work we examine how the known texture bias of Convolutional Neural Networks (CNNs) affects few-shot classification performance. Although texture bias can help in standard image classification, in this work we show it significantly harms few-shot classification performance. After correcting this bias we demonstrate state-of-the-art performance on the competitive miniImageNet task using a method far simpler than the current best performing few-shot learning approaches.

研究の動機と目的

• CNNの既知のテクスチャバイアスが、トレーニングクラスとテストクラスの間で分布シフトが生じる状況下での少サンプル分類性能に与える影響を調査すること。
• テストクラスがトレーニングクラスと異なる少サンプル学習のシナリオにおいて、テクスチャバイアスを低減することで一般化性能が向上するかどうかを特定すること。
• テクスチャバイアスを軽減することで、複雑な最先端の少サンプル学習モデルを凌駕する、より単純な非パrametric手法を開発すること。

提案手法

• ミニImageNetの実写画像とスタイライズド画像の混合データセットでプロトタイプネットワークを事前学習し、テクスチャバイアスを低減すること。
• テスト時に、各サポート画像およびクエリ画像に32種類のランダム増幅を適用するデータ増幅戦略を採用し、高ショット設定を模擬すること。
• オリジナルおよび増幅されたサポート画像の埋め込みの平均値としてクラスプロトタイプを計算し、複数の増幅ビューにおける重み付き平均を用いること。
• 増幅されたプロトタイプとのユークリッド距離に基づいてクエリ画像を分類し、距離を複数の増幅クエリ埋め込みの平均値として算出すること。
• 標準のプロトタイプネットワーク損失関数を用いてモデルを学習するが、スタイライズド画像を含むデータ分布を採用することで、形状に基づく特徴抽出を促進すること。
• スタイライズド事前学習および異なるレベルのテスト時増幅の効果を評価するためのアブレーションスタディを実施すること。

実験結果

リサーチクエスチョン

• RQ1 トレーニングクラスとテストクラスの間で分布シフトが生じる場合、CNNのテクスチャバイアスが少サンプル分類性能を低下させるか？
• RQ2 スタイライズドデータを用いた事前学習によりテクスチャバイアスを低減することで、少サンプル一般化性能が向上するか？
• RQ3 テスト時データ増幅は、少サンプル学習におけるテクスチャバイアスの悪影響をどの程度軽減できるか？
• RQ4 テクスチャバイアスが是正された状況下で、単純な非パrametric手法は、複雑なパrametric少サンプル学習モデルと同等の性能を発揮できるか？
• RQ5 少サンプル性能を最適化するには、事前学習段階での実写画像とスタイライズド画像の比率をどのように設定すべきか？

主な発見

• 実写画像とスタイライズド画像の組み合わせで事前学習することで、ミニImageNetにおける少サンプル分類精度が向上したが、標準ImageNet精度はわずかに低下した。これは、テクスチャバイアスが分布シフト下での一般化性能を損なう要因であることを示している。
• 提案手法は、5ショット5ウェイのミニImageNetベンチマークで80.4%のテスト精度を達成し、以前の最先端手法CASTLEが達成した79.52%を上回った。
• サポートセットおよびクエリセットの両方でテスト時増幅（TTA）を適用すると、性能が著しく向上し、最高の結果（80.4%）が両方のTTAを適用した場合に得られた。
• アブレーションスタディの結果、スタイライズドデータのみで事前学習すると精度が低下（72.9%）するが、実写データと組み合わせることで精度は78.8%まで向上し、バランスの取れたデータ構成の重要性が示された。
• 最適な事前学習の構成は約30%のスタイライズドデータ比であり、それ以上にすると、形状特徴に過度に依存するようになり、性能が低下する。
• スタイライズドデータ比の変化に伴う性能曲線（図2）は、テクスチャバイアスの低減が少サンプル一般化性能を向上させることを確認しており、完全なTTAとバランスの取れた事前学習で80.4%のピーク性能が達成された。