[論文レビュー] Error-Correcting Neural Network.

Yang Song, Qiyu Kang+1 more|arXiv (Cornell University)|Nov 30, 2019

Adversarial Robustness in Machine Learning参考文献 35被引用数 3

ひとこと要約

本稿では、符号語間のハミング距離を最大化し、分類器のパーティション間の共有情報距離を同時に最大化することで、敵対的例に対する耐性を高めるエラー訂正ニューラルネットワーク（ECNN）を提案する。エンド・トゥ・エンドの訓練により、ECNNは二値分類器の多様性を向上させ、クリーンデータにおける精度を維持したまま、白ボックス攻撃に対して最先端の防御性能を達成する。

ABSTRACT

Though deep learning has been applied successfully in many scenarios, malicious inputs with human-imperceptible perturbations can make it vulnerable in real applications. This paper proposes an error-correcting neural network (ECNN) that combines a set of binary classifiers to combat adversarial examples in the multi class classification problem. To build an ECNN, we propose to design a code matrix so that the minimum Hamming distance between any two rows (i.e., two codewords) and the minimum shared information distance between any two columns (i.e., two partitions of class labels) are simultaneously maximized. Maximizing row distances can increase the system fault tolerance while maximizing column distances helps increase the diversity between binary classifiers. We propose an end-to-end training method for our ECNN, which allows further improvement of the diversity between binary classifiers. The end-to-end training renders our proposed ECNN different from the traditional error-correcting output code (ECOC) based methods that train binary classifiers independently. We empirically demonstrate that our proposed ECNN is effective against the state-of-the-art white-box attacks while maintaining good classification accuracy on normal examples.

研究の動機と目的

• 人間が感知できない摂動を伴う敵対的例に対して脆弱な深層ニューラルネットワークの問題を解決すること。
• 二値分類器間の耐障害性と多様性を高めることで、多クラス分類における耐性を向上させること。
• 符号語間の最小ハミング距離と分類器パーティション間の最小共有情報距離を同時に最大化する符号行列を設計すること。
• 従来のECOC手法とは異なり、符号行列と分類器パラメータを同時に最適化するエンド・トゥ・エンドの訓練フレームワークを開発すること。
• 正常入力における高い分類精度を維持しつつ、最先端の白ボックス敵対的攻撃に対して強力な防御を達成すること。

提案手法

• 各行が符号語（クラスラベルの割り当て）を表し、各列がクラス空間を二値分類器でパーティション化する符号行列を設計する。
• 任意の二つの符号語間の最小ハミング距離を最大化することで、耐障害性を向上させるように符号行列を最適化する。
• 同時に、任意の二つの列間の最小共有情報距離を最大化して、二値分類器間の多様性を高める。
• バックプロパゲーションを用いて、符号行列と二値分類器のパラメータを同時に学習するエンド・トゥ・エンドの訓練手順を導入する。
• 入力を分類する際には、すべての二値分類器の予測を統合し、予測ベクトルに最も近いハミング距離を持つ符号語を選択する。
• 符号行列のエラー訂正機能を活用して、敵対的摂動によって生じる誤予測を是正する。

実験結果

リサーチクエスチョン

• RQ1 符号語間のハミング距離と分類器パーティション間の共有情報距離を同時に最適化することは、多クラス分類における敵対的耐性を向上させ得るか？
• RQ2 従来のECOCにおける独立して訓練された二値分類器と比較して、ECNNアーキテクチャのエンド・トゥ・エンド訓練は、より高い多様性と耐性をもたらすか？
• RQ3 提案されたECNNは、クリーン例の性能を低下させることなく、最先端の白ボックス敵対的攻撃に対してどの程度防御できるか？
• RQ4 故障耐性（ハミング距離によるもの）と分類器の多様性（共有情報距離によるもの）のトレードオフが、全体の耐性にどのように影響するか？
• RQ5 ECNNは、標準的で敵対的でない入力において高い精度を維持しつつ、敵対的例に対する耐性を著しく向上させられるか？

主な発見

• 提案されたECNNは、白ボックス敵対的攻撃に対して最先端の防御性能を達成し、従来のECOCベースおよび非ECOC手法を上回る。
• エンド・トゥ・エンド訓練により、独立して訓練された対応する二値分類器と比較して、二値分類器間の多様性が顕著に向上し、誤り訂正能力が向上する。
• ハミング距離と共有情報距離の共同最適化により、故障耐性が向上し、敵対的摂動下でもより良い一般化性能が得られる。
• ECNNは、クリーンで敵対的でない例においても高い分類精度を維持しており、耐性と通常の精度の間の良好なトレードオフを示している。
• 実験的結果から、符号行列における行方向および列方向の距離を同時に最大化することが、性能を犠牲にせずに耐性を達成する上で不可欠であることが確認された。
• ECNNフレームワークは、内在するエラー訂正構造のおかげで、敵対的入力による誤予測の是正に効果的である。