[論文レビュー] Be Like Water: Robustness to Extraneous Variables Via Adaptive Feature Normalization

Aakash Kaku, Sreyas Mohan+3 more|arXiv (Cornell University)|Feb 10, 2020

Advanced Neural Network Applications参考文献 35被引用数 7

ひとこと要約

この論文では、トレーニングと推論の間でデータ分布が変化する要因（例えば、外科医の個人差、患者の違い、画像の損傷など）に強い深層学習のロバスト性を向上させるため、適応的特徴正規化を提案する。テスト時に外的要因（例：1人の外科医、1つの損傷タイプ）の固定値を用いて正規化統計を適応的に計算することで、分布のずれを低減し、複数のアーキテクチャと統計タイプを用いたCIFAR-10C、JIGSAWS、StrokeRehabデータセットで10–15%の精度向上を達成する。

ABSTRACT

Extraneous variables are variables that are irrelevant for a certain task, but heavily affect the distribution of the available data. In this work, we show that the presence of such variables can degrade the performance of deep-learning models. We study three datasets where there is a strong influence of known extraneous variables: classification of upper-body movements in stroke patients, annotation of surgical activities, and recognition of corrupted images. Models trained with batch normalization learn features that are highly dependent on the extraneous variables. In batch normalization, the statistics used to normalize the features are learned from the training set and fixed at test time, which produces a mismatch in the presence of varying extraneous variables. We demonstrate that estimating the feature statistics adaptively during inference, as in instance normalization, addresses this issue, producing normalized features that are more robust to changes in the extraneous variables. This results in a significant gain in performance for different network architectures and choices of feature statistics.

研究の動機と目的

• トレーニングと推論の間に外的要因（タスクとは無関係だがデータ分布に影響を与える要因）が変化する場合に、深層学習モデルの性能が低下することを解決すること。
• バッチ正規化が、トレーニングデータから推定された固定統計を使用するため、このような分布のずれの下では失敗することを特定すること。
• 推論時に、外的要因の値が固定されたバッチや個々のインスタンスに基づいて統計を計算することで、推論時に適応的正規化を実行すること。
• 外的要因が異なる多様なデータセット（手術ジェスチャー認識、ストローク患者の動き分類、損傷のある画像認識など）において、一貫した性能向上を示すこと。
• 外的要因に対する特徴の不変性を評価し、適応的正規化がこれらの混同要因に依存しない特徴を生成することを示すこと。

提案手法

• 推論時に、外的要因が固定されたバッチを用いて、特徴統計（平均と標準偏差、または平均平方）を適応的に推定する。
• 推論時に外的要因ラベルの利用可能性に応じて、インスタンス正規化またはバッチベースの適応的正規化を適用する。
• 2段階のトレーニング・推論パイプラインを用いる：標準バッチ正規化で学習し、その後、外的要因の値が既知の保持データを用いてテスト時に特徴を適応的に正規化する。
• ペンultimate層の特徴に小さなデコーダーネットワークを学習させ、外的要因に対する不変性を測定するための復元精度を測定する。
• 複数のアーキテクチャと統計タイプ（平均/標準偏差、平均平方）において、非適応的（バッチ正規化）と適応的正規化の手法を比較する。
• 3つの実世界データセット（CIFAR-10C（画像損傷）、JIGSAWS（手術ジェスチャー）、StrokeRehab（ストローク患者の動き））での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 外的要因（例：外科医の個人差、画像損傷タイプ）がトレーニングと推論の間に変化する場合、非適応的バッチ正規化は特徴を正しく正規化できないか？
• RQ2 保持データを用いて外的要因の値が固定された統計を計算する適応的正規化は、このような状況で分類精度を向上させられるか？
• RQ3 適応的正規化で学習された特徴が、外的要因に対してどれほど不変になるか（復元精度を用いて測定）？
• RQ4 平均/標準偏差 vs. 平均平方という異なる正規化統計と、バッチベース vs. インスタンスベースという異なる正規化手法の間で、性能と不変性に差はあるか？
• RQ5 適応的正規化による性能向上は、多様なデータセットとネットワークアーキテクチャにわたって一貫しているか？

主な発見

• CIFAR-10C、JIGSAWS、StrokeRehabの3つのデータセットすべてにおいて、非適応的バッチ正規化に比べて、適応的正規化が10–15%の絶対的な分類精度向上を達成する。
• JIGSAWSデータセットでは、バッチベースの適応的正規化がインスタンスベースの正規化を上回る結果となり、外科医の個人差以外の外的要因が存在する可能性を示唆する。
• CIFAR-10CとStrokeRehabでは、バッチベースおよびインスタンスベースの適応的正規化が同程度の性能を示し、適応的戦略の種類に関わらず一貫した向上が得られることを示す。
• 適応的正規化はより不変な特徴を生成する：適応的正規化モデルの特徴では、外的要因（例：外科医の個人差）の復元精度が非適応的モデルに比べて顕著に低い。
• 異なるネットワークアーキテクチャと特徴統計タイプ（平均/標準偏差、平均平方）にわたって性能向上が安定しており、本手法の一般化可能性を確認する。
• 正規化された特徴のヒストグラムから、非適応的正規化では分布のずれの下で平均が0に中心化されず、標準偏差が1に近づかないが、適応的正規化では適切な正規化が回復することがわかる。