[論文レビュー] Robustness of different loss functions and their impact on networks learning capability

Vishal Rajput|arXiv (Cornell University)|Oct 15, 2021

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本論文は、深層学習モデルにおけるさまざまな損失関数（特に一般化された（例：二値クロスエントロピー）および特化された（例：Dice、フォーカル損失））のロバスト性を調査する。制御された実験を通じて敵対的ロバスト性を評価した結果、損失関数の組み合わせが勾配ベースの摂動に対してモデルの耐性を高めることを示し、顕著な勾配攻撃下でも精度の保持が向上するハイブリッド損失戦略の有効性を明らかにした。

ABSTRACT

Recent developments in AI have made it ubiquitous, every industry is trying to adopt some form of intelligent processing of their data. Despite so many advances in the field, AIs full capability is yet to be exploited by the industry. Industries that involve some risk factors still remain cautious about the usage of AI due to the lack of trust in such autonomous systems. Present-day AI might be very good in a lot of things but it is very bad in reasoning and this behavior of AI can lead to catastrophic results. Autonomous cars crashing into a person or a drone getting stuck in a tree are a few examples where AI decisions lead to catastrophic results. To develop insight and generate an explanation about the learning capability of AI, we will try to analyze the working of loss functions. For our case, we will use two sets of loss functions, generalized loss functions like Binary cross-entropy or BCE and specialized loss functions like Dice loss or focal loss. Through a series of experiments, we will establish whether combining different loss functions is better than using a single loss function and if yes, then what is the reason behind it. In order to establish the difference between generalized loss and specialized losses, we will train several models using the above-mentioned losses and then compare their robustness on adversarial examples. In particular, we will look at how fast the accuracy of different models decreases when we change the pixels corresponding to the most salient gradients.

研究の動機と目的

• 異なる損失関数が深層ニューラルネットワークの学習能力およびロバスト性に与える影響を理解すること。
• 単一損失学習と比較して、複数の損失関数を組み合わせることでモデルの性能およびロバスト性が向上するかどうかを評価すること。
• 特にセーフティクリティカルな応用分野において、敵対的例下でのAIシステムの故障モードを調査すること。
• 不均衡なデータまたは敵対的状況下で特化された損失関数が一般化されたものよりも優れる理由について、実証的知見を提供すること。

提案手法

• 一般化損失（例：二値クロスエントロピー）と特化損失（例：Dice、フォーカル損失）の組み合わせを用いて、複数の深層学習モデルを訓練した。
• 最も顕著な勾配に対応するピクセルを変更することで、勾配ベースの敵対的攻撃を適用した。
• 摂動強度を段階的に増加させた際の精度低下率を測定し、ロバスト性を評価した。
• 標準化されたベンチマークを用いて、異なる損失設定下でのモデル性能を比較した。
• クラスの不均衡を伴う画像分類タスクにおいて、制御されたアブレーションスタディを通じてロバスト性を評価した。
• 高勾配方向に沿って摂動を適用しながら、精度の低下を時間経過とともに追跡した。

実験結果

リサーチクエスチョン

• RQ1 損失関数の選択が、敵対的攻撃下での深層ニューラルネットワークのロバスト性にどのように影響するか？
• RQ2 複数の損失関数を組み合わせることで、単一損失学習と比較して一般化性能および耐性が向上するか？
• RQ3 フォーカル損失やDice損失のような特化損失関数が、不均衡なデータまたは敵対的状況下で優れた性能を示す理由は何か？
• RQ4 最も顕著な勾配に沿って摂動を適用した場合、モデルの精度はどの程度速く低下するか？
• RQ5 損失関数設計と、分布シフト下でのネットワークの推論能力の関係は何か？

主な発見

• ハイブリッド損失関数（例：BCE + Dice または BCE + フォーカル損失）で訓練されたモデルは、単一損失モデルと比較して、敵対的攻撃下での精度低下が著しく遅くなった。
• 一般化損失と特化損失の組み合わせが、特にクラスの不均衡が生じる状況でロバスト性を向上させた。
• フォーカル損失は、長尾型データ分布の処理において優れた性能を示し、摂動下でも高い精度を維持した。
• 二値クロスエントロピーのみを用いたモデルは、勾配ベースの敵対的攻撃を受けた際に、より速く精度が低下した。
• 最も顕著な勾配は、特に単一損失設定下でモデルの故障点を決定づける要因であることが判明した。
• ロバスト性はモデルアーキテクチャに依存するのみではなく、損失関数設計および学習目的が顕著に影響を与えた。