[論文レビュー] Statistical theory for image classification using deep convolutional neural networks with cross-entropy loss under the hierarchical max-pooling model

Michael Köhler, Sophie Langer|arXiv (Cornell University)|Nov 27, 2020

Neural Networks and Applications参考文献 30被引用数 11

ひとこと要約

本稿は、画像分類における交差エントロピー損失を用いた深層畳み込みニューラルネットワーク（CNN）の統計理論を確立し、事後確率に滑らかさおよび構造的仮定を課した場合、誤分類リスクが画像次元に依存しない速度で収束することを証明する。主な結果は、CNNが次元削減を達成することを示しており、高次元入力にもかかわらずその実証的成功を説明する。

ABSTRACT

Convolutional neural networks (CNNs) trained with cross-entropy loss have proven to be extremely successful in classifying images. In recent years, much work has been done to also improve the theoretical understanding of neural networks. Nevertheless, it seems limited when these networks are trained with cross-entropy loss, mainly because of the unboundedness of the target function. In this paper, we aim to fill this gap by analyzing the rate of the excess risk of a CNN classifier trained by cross-entropy loss. Under suitable assumptions on the smoothness and structure of the a posteriori probability, it is shown that these classifiers achieve a rate of convergence which is independent of the dimension of the image. These rates are in line with the practical observations about CNNs.

研究の動機と目的

• 画像分類において交差エントロピー損失を用いて訓練された深層CNNの統計理論のギャップを埋めること。
• 事後確率に現実的構造的仮定を課した場合、誤分類リスクが最適リスクに収束する速度を分析すること。
• 交差エントロピー損失を用いたCNNが次元削減を達成し、次元の呪いを回避することを示すこと。
• 実用的画像分類タスクにおけるCNNの優れた実証的性能に対する理論的裏付けを提供すること。

提案手法

• 研究は、入力画像を[0,1]^{d1×d2}に、ラベルを{−1,1}に設定する二値分類問題として画像分類をモデル化する。
• 0/1損失の代理として交差エントロピー損失を用い、Fisher整合性を活用して最適な意思決定境界を保証する。
• 階層的マックスプーリングCNNアーキテクチャを構築し、2種類のネットワークを組み合わせる：1つ目はL_n^{(1)}層で関数g_{k,s}をO((L_n^{(1)})^{-2p/4})の誤差で近似し、2つ目はL_n^{(2)}層で対数オッズ関数f_φ*を近似する。
• 集中不等式および近似補題（補題6, 7, 8, 9）を用いて、期待損失と経験損失の差を制御する理論的境界を導出する。
• チェイングの議論を用いて近似誤差と推定誤差の境界を統合し、最終的な収束速度をO((log n)^2 · n^{-min{p/(2p+4), 1/4}})として確立する。
• 解析は、特に滑らかさパrameter pを持つHölderクラスに属する事後確率η(x)の滑らかさおよび構造的仮定に依存する。

実験結果

リサーチクエスチョン

• RQ1 交差エントロピー損失を用いて訓練された深層CNNは、画像次元に依存しない誤分類リスク収束速度を達成できるか？
• RQ2 事後確率η(x)にどのような構造的仮定を課した場合、次元の呪いがCNNの性能に影響しなくなるか？
• RQ3 CNNにおける階層的マックスプーリング構造は、統計的推定における次元削減にどのように寄与するか？
• RQ4 滑らかさ条件の下で、交差エントロピー損失を用いたCNNの誤分類リスクの理論的収束速度は何か？

主な発見

• 交差エントロピー損失を用いて訓練されたCNNの誤分類リスクは、画像次元d1×d2に依存しない速度O((log n)^2 · n^{-min{p/(2p+4), 1/4}})で収束する。
• この収束速度は、事後確率η(x)が滑らかさパrameter p ≥ 1のHölder連続関数であると仮定した場合に達成される。
• 理論的解析により、CNNが階層的マックスプーリング構造とインダクティブバイアスのおかげで次元の呪いを回避することを確認した。
• 収束速度は、ネットワークの深さに起因する近似誤差と、訓練サンプルサイズに起因する推定誤差のバランスを最適化することで得られ、その最適なトレードオフが提示された速度をもたらす。
• この結果により、データ構造が滑らかである場合に特に顕著なCNNの実証的成功に対する統計的基盤が提供された。