[論文レビュー] Mini-batch graphs for robust image classification

Arnab Kumar Mondal, Vineet Jain+1 more|arXiv (Cornell University)|Apr 22, 2021

Adversarial Robustness in Machine Learning参考文献 35被引用数 8

ひとこと要約

本稿では、ミニバッチ内における類似画像同士の特徴を統合するためにグラフ畳み込みネットワークを用いるミニバッチグラフニューラルネットワーク（MBGNNs）を提案する。これにより、追加の損失項を必要とせず、分類精度を向上させるとともに、敵対的攻撃や画像の摂動に対して高い耐性を示す。本手法は計算コストの増加が最小限であり、GANの訓練においてモード崩壊を軽減する効果もある。

ABSTRACT

Current deep learning models for classification tasks in computer vision are trained using mini-batches. In the present article, we take advantage of the relationships between samples in a mini-batch, using graph neural networks to aggregate information from similar images. This helps mitigate the adverse effects of alterations to the input images on classification performance. Diverse experiments on image-based object and scene classification show that this approach not only improves a classifier's performance but also increases its robustness to image perturbations and adversarial attacks. Further, we also show that mini-batch graph neural networks can help to alleviate the problem of mode collapse in Generative Adversarial Networks.

研究の動機と目的

• ミニバッチ内におけるサンプル間の関係を活用することで、敵対的攻撃や入力の摂動に対して耐性のある画像分類の性能向上を図ること。
• 対照的損失やアフィニティベースの損失手法の限界を克服するため、グラフベースの特徴統合によって類似埋め込みを暗黙的に促進すること。
• ミニバッチ内のグラフ学習により特徴の多様性を高めることで、GANの訓練におけるモード崩壊を軽減すること。
• 標準的なディープラーニングパイプラインと互換性があり、画像分類を超えた応用にも適用可能なモジュール型で計算効率の高い手法を開発すること。

提案手法

• 各ミニバッチに対して、特徴の類似度を用いてエッジを定義することで、サンプルレベルのグラフを構築する。
• グラフ畳み込みネットワーク（GCNs）を用い、ミニバッチ内のグラフ上でノード（画像）間を介したメッセージパッシングを実行し、特徴を統合する。
• グラフネットワークの出力を各画像の洗練された表現とし、それを分類器ヘッドに渡す。
• 標準的なCNNの最終層にMBGNNをプラグインモジュールとして統合し、アーキテクチャの変更を最小限に抑える。
• Attn-MBGNNでは、グラフ内の隣接ノードからの寄与度を動的に重み付けするアテンション機構を採用し、柔軟性を向上させる。
• MC-MBGNN（ミニバッチ対照MBGNN）を用いてGANの訓練中にMBGNNモジュールを統合し、生成器の多様性を高め、モード崩壊を低減する。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ内でのグラフベースの特徴統合は、画像分類の性能向上および摂動に対する耐性向上に寄与するか？
• RQ2 MBGNNsによる暗黙的な類似度学習は、明示的な対照的損失やアフィニティベースの損失関数と比較して、耐性および精度の面で優れているか？
• RQ3 MBGNNsは、生成サンプルの多様性を促進することで、GANの訓練におけるモード崩壊を効果的に低減できるか？
• RQ4 ブラックボックス攻撃に対して、MBGNNモジュールは標準的なResNetベースラインと比較してどのように性能を示すか？
• RQ5 MBGNNsを既存のディープラーニングパイプラインに統合する際の計算コストおよびアーキテクチャ的負荷はどの程度か？

主な発見

• CIFAR-10において、局所的なガウスノイズやピクセル単位のガウスノイズが加わった状況でも、MBGNNsはテスト精度を最大で2%向上させ、画像の摂動に対する耐性を示した。
• 最良のMBGNNバージョンは、敵対的攻撃下でもベースラインのResNetと比較して1.5–2%高い精度を達成し、成功する攻撃に至るまでの中央値クエリ回数が顕著に増加（一部のケースで10倍以上）した。
• アテンションを統合したAttn-MBGNNは、標準MBGNNよりも耐性が向上したが、逆にアテンション重みの入力摂動に対する感受性が重複することで、標準MBGNNよりやや劣った性能を示した。
• MC-MBGNNは、バニラGANと比較してNDBスコアを最大30%低減させ、モード崩壊の著しい低減と生成サンプルの多様性向上を示した。
• 本手法は計算コストの増加が最小限であり、追加パラメータ数もわずかに抑えられており、標準的なCNNアーキテクチャとも互換性があった。
• MBGNNモジュールはCIFAR-10やCelebAを含む複数のデータセットおよびアーキテクチャで有効であり、一貫した性能向上と耐性の強化を示した。