[論文レビュー] On the Blindspots of Convolutional Networks

Elad Hoffer, Shai Fine+1 more|arXiv (Cornell University)|Feb 14, 2018

Adversarial Robustness in Machine Learning参考文献 24被引用数 5

ひとこと要約

この論文は、最先端の性能を示すにもかかわらず、畳み込みニューラルネットワーク（ConvNets）が、単純なモデルが容易に検出できる特定のグローバルで低次元、または高密度に符号化された信号を捉えられていない構造的盲点を明らかにする。著者らは、ConvNetsには見えにくくても分類に有用な信号（例：1ピクセルパターン、長さ符号化）を注入することで、ロジスティック回帰やランダムフォレストなどの従来モデルが、これらの信号が存在する際にはConvNetsを上回ることを示し、特徴選択および不変性メカニズムにおける制限を暴露する。

ABSTRACT

Deep convolutional network has been the state-of-the-art approach for a wide variety of tasks over the last few years. Its successes have, in many cases, turned it into the default model in quite a few domains. In this work, we will demonstrate that convolutional networks have limitations that may, in some cases, hinder it from learning properties of the data, which are easily recognizable by traditional, less demanding, models. To this end, we present a series of competitive analysis studies on image recognition and text analysis tasks, for which convolutional networks are known to provide state-of-the-art results. In our studies, we inject a truth-revealing signal, indiscernible for the network, thus hitting time and again the network's blind spots. The signal does not impair the network's existing performances, but it does provide an opportunity for a significant performance boost by models that can capture it. The various forms of the carefully designed signals shed a light on the strengths and weaknesses of convolutional network, which may provide insights for both theoreticians that study the power of deep architectures, and for practitioners that consider applying convolutional networks to the task at hand.

研究の動機と目的

• 標準ベンチマークで高い性能を示すにもかかわらず、特定のデータ信号を捉えられない畳み込みニューラルネットワーク（ConvNets）の構造的制限を同定し、実証すること。
• ConvNetsが、単純なモデルが容易に捉えることができる、非常に情報量が多く、非局所的または低次元の特徴をなぜ利用しないのかを調査すること。
• ConvNetsが認識できないが、単純なモデルの性能を向上させる真実を暴く信号（例：1ピクセルパターン、ノイズ符号化）を注入した際の、ConvNetと従来モデル（例：ロジスティック回帰、ランダムフォレスト）の性能を比較すること。
• ConvNetsの不変性およびプーリングメカニズムが、グローバルまたは構造的なデータ特性を抑制するメカニズムについての洞察を提供すること。
• データ前処理や符号化後にこれらの盲点が生じる可能性があるため、実務家がConvNetsが不適切になる状況を評価する手がかりを提供すること。

提案手法

• 元のラベルやネットワークアーキテクチャを変更せずに、画像およびテキストデータセットに真実を暴く信号（例：1ピクセルパターン、ノイズ符号化、長さ符号化、記憶用符号化）を注入すること。
• 2種類の異なるConvNetアーキテクチャを用いる：画像データ用（ピクセルグリッド上の空間畳み込み）とテキストデータ用（ワンホット符号化された系列上の時系列畳み込み）、両方とも変更なしで訓練すること。
• グローバルに情報量が多くても、ConvNetsには構造的に見えにくい信号を設計する。例えば、画像における直交ノイズや、テキストにおける長さベースの符号化であり、自然なデータにはありえないが、現実世界のアーチファクトでは妥当である。
• 同じデータに対して、真実を暴く信号の有無にかかわらず、ConvNetと従来モデル（例：ロジスティック回帰、ランダムフォレスト、決定木）の性能を比較し、隠れた情報の影響を隔離すること。
• 畳み込みによる特徴構築とプーリングによる特徴選択の相互作用を分析し、特に、シフトやスケールに対する不変性が、空間的または時間的配置に依存する信号を抑制するメカニズムを検討すること。
• 真実を暴く信号のみが残るようなアブレーションスタディを実施し、遮る特徴が除去された状態でConvNetsがその信号を学習できるかをテストすること。

実験結果

リサーチクエスチョン

• RQ1 なぜConvNetsは、単純なモデルが容易に捉えることができるグローバルまたは低次元の信号を、それらが完全に予測的であっても利用しないのか？
• RQ2 空間的または時間的配置に依存する信号に対して、翻訳およびスケール不変性といったConvNetsの構造的不変性が、性能にどれほど悪影響を及えるのか？
• RQ3 畳み込みおよびプーリング操作に見えない方法で符号化された重要な情報が存在する場合、単純で深いモデルが深層ConvNetsを上回ることができるか？
• RQ4 データ前処理手法（例：ワンホット符号化、スペクトログラム変換）が、特徴を歪めたり隠したりすることで、ConvNetの盲点を導入または強化するメカニズムは何か？
• RQ5 特徴構築（畳み込み）と特徴選択（プーリング）の相互作用が、ネットワークが特定の情報を含むパターンを検出できない理由に果たす役割は何か？

主な発見

• ロジスティック回帰やランダムフォレストが容易に検出できる1ピクセルまたはパターンベースの信号は、ConvNetsが認識できず、それらが完全に予測的であっても同様であった。
• テキスト分類において、文の長さを特徴として符号化する信号（例：文長）は、ConvNetsによって完全に無視されたが、単純なモデルでは性能がConvNetを上回った。
• 他のすべての特徴を除去し、真実を暴く信号のみが残った状態で、ConvNetsは完全な正確度を達成した。これは、競合する特徴がなければ信号を学習可能であることを示している。
• 情報量が低次元またはグローバルな信号である場合、浅いネットワークが深層ConvNetsを上回った。これは、より深いアーキテクチャが不変性メカニズムにより信号検出を妨げることがあることを示唆している。
• 同じ盲点が画像およびテキストの両分野で出現したため、データ固有のアーチファクトではなく、根本的な構造的制限であることが示された。
• 真実を暴く信号が存在する際、ロジスティック回帰やランダムフォレストなどの従来モデルは、標準ベンチマークでは劣るにもかかわらず、ConvNetsを著しく上回った。