[論文レビュー] Neither Quick Nor Proper -- Evaluation of QuickProp for Learning Deep Neural Networks

Clemens-Alexander Brust, Sven Sickert+3 more|arXiv (Cornell University)|Jun 14, 2016

Advanced Neural Network Applications参考文献 18被引用数 6

ひとこと要約

この論文は、セマンティックセグメンテーションにおける深層畳み込みニューラルネットワークの学習に、2次最適化アルゴリズムであるQuickPropを評価している。理論的には収束が速い可能性があるが、実世界のデータセットにおける実験では、ネットワークの複雑さが増すにつれて、QuickPropは勾配降下法に常に劣り、訓練損失とテスト性能の両面で劣っている。したがって、大規模な修正が加えられない限り、QuickPropは現代の深層学習アーキテクチャには不適切であると結論づけられる。

ABSTRACT

Neural networks and especially convolutional neural networks are of great interest in current computer vision research. However, many techniques, extensions, and modifications have been published in the past, which are not yet used by current approaches. In this paper, we study the application of a method called QuickProp for training of deep neural networks. In particular, we apply QuickProp during learning and testing of fully convolutional networks for the task of semantic segmentation. We compare QuickProp empirically with gradient descent, which is the current standard method. Experiments suggest that QuickProp can not compete with standard gradient descent techniques for complex computer vision tasks like semantic segmentation.

研究の動機と目的

• セマンティックセグメンテーションにおける深層畳み込みニューラルネットワークの学習に、2次最適化手法であるQuickPropを評価すること。
• 訓練損失とテスト精度の観点から、QuickPropの性能を標準的な勾配降下法と比較すること。
• フィルタ数やネットワークの深さといったネットワークの複雑さが、QuickPropと勾配降下法の相対的性能に与える影響を調査すること。
• 実用的なコンピュータビジョン応用において、QuickPropがより良い一般化性能やより速い収束を達成できるかどうかを検討すること。

提案手法

• QuickPropは、各重みについて損失関数の2次近似を用い、簡略化されたヘッシアン近似によって最適ステップサイズを推定する。
• アルゴリズムは、現在と直前の勾配値を用いて重みの更新を計算し、勾配降下法とは異なり加法的ではなく乗法的な更新ルールを適用する。
• 実験は、アーキテクチャの変化を制御した完全畳み込みネットワークを用いてLabelMeFacadeデータセットで実施された。
• ネットワークの複雑さは、畳み込み層のフィルタ数を変化させることと、同一の全結合層を繰り返し積み重ねることでスケーリングされた。
• 100エポックにわたり訓練を行い、統計的有意性を評価するために繰り返し実験を実施し、QuickPropと勾配降下法の結果を比較した。
• 本番の評価の前に、制御された条件下でQuickPropの挙動を検証するためのトレイル実験が実施された。

実験結果

リサーチクエスチョン

• RQ1 QuickPropは、セマンティックセグメンテーションのための深層畳み込みニューラルネットワークの学習において、標準的な勾配降下法を上回ることができるか？
• RQ2 フィルタ数や層の数を増やすなど、ネットワークの複雑さが増すと、QuickPropの性能はどのように変化するか？
• RQ3 実世界のコンピュータビジョンタスクにおいて、QuickPropは勾配降下法よりも優れた一般化性能やより速い収束を達成できるか？
• RQ4 QuickPropにおける2次最適化の理論的利点は、現代の深層学習アーキテクチャにおいて実用的に有益であるか？

主な発見

• すべてのテストされたネットワークサイズとアーキテクチャにおいて、QuickPropは勾配降下法に比べ常に高い訓練損失を達成した。
• フィルタ数を増やすと、QuickPropと勾配降下法の性能差が拡大し、QuickPropのスケーラビリティがさらに悪化することが示された。
• 全結合層を繰り返し積み重ねて層の数を増やすと、QuickPropの性能はさらに劣化し、損失が増加し、深層ネットワークではやがて飽和した。
• トレイル実験ではわずかな一般化の利点が見られたが、実世界のLabelMeFacadeデータセットでは、QuickPropは勾配降下法に比べて一般化性能が優れていない。
• 結果から、QuickPropは現代のコンピュータビジョンで使用される深層ニューラルネットワークには不適切であると示唆される。特にモデルの複雑さが増すと顕著である。
• 本研究は、大規模な修正が加えられない限り、QuickPropを勾配降下法の代替として使用すべきでないと結論づけた。