[論文レビュー] When and Why Test-Time Augmentation Works

Divya Shanmugam, Davis Blalock+2 more|arXiv (Cornell University)|Nov 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 34

ひとこと要約

本論文は、テスト時増強（TTA）がいつ、なぜモデルの予測を向上させたり、悪化させたりするかを調査し、全体の精度が向上している間でさえも、TTAが正しい予測を誤って反転させることを明らかにした。本研究では、データ、モデル、増幅特性に適応する学習ベースのアグリゲーション手法を提案し、多様なベンチマークにおいて、既存のTTAアプローチを常に上回る性能を発揮した。

ABSTRACT

Test-time augmentation (TTA)---the aggregation of predictions across transformed versions of a test input---is a common practice in image classification. In this paper, we present theoretical and experimental analyses that shed light on 1) when test time augmentation is likely to be helpful and 2) when to use various test-time augmentation policies. A key finding is that even when TTA produces a net improvement in accuracy, it can change many correct predictions into incorrect predictions. We delve into when and why test-time augmentation changes a prediction from being correct to incorrect and vice versa. Our analysis suggests that the nature and amount of training data, the model architecture, and the augmentation policy all matter. Building on these insights, we present a learning-based method for aggregating test-time augmentations. Experiments across a diverse set of models, datasets, and augmentations show that our method delivers consistent improvements over existing approaches.

研究の動機と目的

• テスト時増強（TTA）がモデルのパフォーマンスを向上または低下させる条件を理解すること。
• 全体の精度が向上している間ですら、TTAが正しい予測を誤ったものに変える理由を特定すること。
• トレーニングデータ量、モデルアーキテクチャ、増幅ポリシーがTTAの効果に与える影響を分析すること。
• データおよびモデルの特性に適応する学習ベースのTTAアグリゲーション手法を開発し、一貫した向上を達成すること。

提案手法

• 著者らは、増幅によって引き起こされる分布シフトに注目し、TTAが予測の正しさに与える影響を理論的・実験的に分析した。
• 異なる増幅ポリシーがモデルの予測に与える影響、特に正しい予測が反転する可能性を分析した。
• 各増幅入力からの予測を最適な重みで組み合わせる学習ベースのアグリゲーション手法を提案した。
• 入力およびモデルの特徴に基づいて各増幅予測の信頼性をモデル化することで、予測誤差を最小化するように訓練した。
• 多様なモデル、データセット、増幅ポリシーを用いた実験により、手法の頑健性と向上効果を検証した。

実験結果

リサーチクエスチョン

• RQ1 テスト時増強はどのような条件下でモデルの精度を向上または低下させるか？
• RQ2 全体の精度が向上している間ですら、なぜTTAが正しい予測を誤ったものに変えることがあるのか？
• RQ3 トレーニングデータ量、モデルアーキテクチャ、増幅ポリシーは、TTAのパフォーマンスにどのように作用し合うか？
• RQ4 予測のアグリゲーションに学習ベースの手法を用いることで、標準的な平均化やヒューリスティックな重み付けを上回ることができるか？

主な発見

• TTAは全体の精度を向上させる一方で、多くの正しい予測を誤ったものに反転させることもあり、予測の信頼性にトレードオフが生じていることを示している。
• 予測の反転確率は、モデルの信頼度、データ分布、および適用された特定の増幅に依存する。
• 小さなデータセットで訓練されたモデルは、特に攻撃的な増幅を適用された場合、誤った反転にさらされやすくなる。
• 提案された学習ベースのアグリゲーション手法は、評価されたすべてのモデルおよびデータセットで、標準的なTTA手法を一貫して上回った。
• この手法は、TTAによる精度の向上を維持または向上させながら、誤った反転の数を効果的に削減した。