[論文レビュー] Visualized Insights into the Optimization Landscape of Fully Convolutional Networks

Jianjie Lu, Raymond Kai‐Yu Tong|arXiv (Cornell University)|Jan 20, 2019

Advanced Neural Network Applications参考文献 27被引用数 9

ひとこと要約

本稿では、訓練済みモデルの周囲の損失面をランダムな方向に射影することで、完全畳み込みネットワーク（FCNs）の最適化のありさまを可視化する。スイープ層接続がより平坦で一般化性の高い損失面を促進すること、小バッチ学習が滑らかで平坦な領域を有するより平坦な最小値に収束するのに対し、大バッチ学習は鋭い最小値と混沌とした近傍をもたらすことを示しており、FCNアーキテクチャにおける一般化性能の差異を実証的に説明する。

ABSTRACT

Many image processing tasks involve image-to-image mapping, which can be addressed well by fully convolutional networks (FCN) without any heavy preprocessing. Although empirically designing and training FCNs can achieve satisfactory results, reasons for the improvement in performance are slightly ambiguous. Our study is to make progress in understanding their generalization abilities through visualizing the optimization landscapes. The visualization of objective functions is obtained by choosing a solution and projecting its vicinity onto a 3D space. We compare three FCN-based networks (two existing models and a new proposed in this paper for comparison) on multiple datasets. It has been observed in practice that the connections from the pre-pooled feature maps to the post-upsampled can achieve better results. We investigate the cause and provide experiments to shows that the skip-layer connections in FCN can promote flat optimization landscape, which is well known to generalize better. Additionally, we explore the relationship between the models generalization ability and loss surface under different batch sizes. Results show that large-batch training makes the model converge to sharp minimizers with chaotic vicinities while small-batch method leads the model to flat minimizers with smooth and nearly convex regions. Our work may contribute to insights and analysis for designing and training FCNs.

研究の動機と目的

• 完全畳み込みネットワーク（FCNs）の一般化行動を、その最適化のありさまの可視化を通じて理解すること。
• スイープ層接続が損失面の幾何構造に果たす役割を調査すること。
• バッチサイズがFCNにおける鋭いまたは平坦な最小値への収束に与える影響を分析すること。
• 複数のデータセットにおける異なるFCNアーキテクチャ（例：FCN-16s、FCN-8s、U-Net）の最適化のありさまの特性を比較すること。

提案手法

• 最適化のありさまは、訓練済みモデルを選び、その局所的近傍を2つのランダムな方向に射影することで可視化する。
• 損失面の鋭さは、Cε測度を用いて定量化され、これはモデル重みの周囲の半径εの球状近傍における損失の平均として定義される。
• 同一の訓練損失を達成するように、FCN-16s、FCN-8s、および新たに提案されたモデルの3つのFCNベースのモデルを複数のデータセットで訓練・比較し、アーキテクチャの影響を分離する。
• 同じモデルに小バッチ（B2）および大バッチ（B16）の学習プロトコルを適用し、収束行動および得られる損失面の幾何構造を比較する。
• 可視化は固定解像度（n=40）および縮小された領域サイズ（r=0.025）で実施され、最小値の平坦さの直接比較を可能にする。
• エッジ検出およびバイオメディカルセグメンテーションのデータセットを用いて、一般化性能およびありさまの特性を評価する実験が実施された。

実験結果

リサーチクエスチョン

• RQ1 FCNにおけるスイープ層接続は、損失面の幾何構造および一般化性能にどのように影響するか？
• RQ2 バッチサイズとFCNにおける最小値の平坦さの関係は何か？
• RQ3 同じ訓練損失を示すにもかかわらず、一部のFCNアーキテクチャが他のものよりも一般化性能に優れる理由は何か？
• RQ4 最適化のありさまの可視化は、EMセグメンテーションタスクにおいてFCN-16sよりも優れた性能を示すU-Netの理由を説明できるか？

主な発見

• より前の、高解像度の特徴マップからのスイープ層接続が、後続のアップサンプリングされた層に与えられることで、より平坦な最適化のありさまが得られ、これはより良い一般化と関連している。
• FCN-4sはCε=1.4904（ε=0.1）で最も平坦なありさまを示し、次にFCN-8s（1.7724）、FCN-16s（2.1822）の順に平坦さが低下しており、より細分化されたスイープ接続が一般化性能の向上をもたらすことを示している。
• 小バッチ学習（B2）は一貫して平坦な最小値と滑らかでほぼ凸な領域をもたらすが、大バッチ学習（B16）は鋭い最小値と混沌とした不規則な近傍をもたらす。
• FCN-16sにおけるB2の平均Cε鋭さはε=0.01で0.0252、B16では0.0418であるため、小バッチがより平坦な最小値をもたらすことが確認された。
• U-NetはB2におけるCε鋭さが0.0175（ε=0.01）であり、FCN-16sの0.0252より低い値を示しており、U-Netのアーキテクチャがより平坦で一般化性の高い解を促進していると考えられる。
• 本研究は、より平坦な最小値が一般化性能の向上と相関することを実証的に示しており、最適化のありさまの幾何構造がFCNにおける一般化に影響を与えるという仮説を支持する。