[論文レビュー] Towards Understanding the Transferability of Deep Representations

Hong Liu, Mingsheng Long+2 more|arXiv (Cornell University)|Sep 26, 2019

Advanced Neural Network Applications参考文献 30被引用数 14

ひとこと要約

この論文は、事前学習された表現が一般化性と最適化をどのように向上させるかを分析することで、深層ニューラルネットワークにおける転送可能性のメカニズムを調査している。転送されたモデルがより平坦な極小値に収束し、勾配抑制によって損失関数の滑らかさが向上し、Lipschitz定数が改善されることを示している。また、転送可能性は最終的な学習段階よりも中間段階でピークに達し、その後低下することが分かっており、理論的裏付けも得られている。

ABSTRACT

Deep neural networks trained on a wide range of datasets demonstrate impressive transferability. Deep features appear general in that they are applicable to many datasets and tasks. Such property is in prevalent use in real-world applications. A neural network pretrained on large datasets, such as ImageNet, can significantly boost generalization and accelerate training if fine-tuned to a smaller target dataset. Despite its pervasiveness, few effort has been devoted to uncovering the reason of transferability in deep feature representations. This paper tries to understand transferability from the perspectives of improved generalization, optimization and the feasibility of transferability. We demonstrate that 1) Transferred models tend to find flatter minima, since their weight matrices stay close to the original flat region of pretrained parameters when transferred to a similar target dataset; 2) Transferred representations make the loss landscape more favorable with improved Lipschitzness, which accelerates and stabilizes training substantially. The improvement largely attributes to the fact that the principal component of gradient is suppressed in the pretrained parameters, thus stabilizing the magnitude of gradient in back-propagation. 3) The feasibility of transferability is related to the similarity of both input and label. And a surprising discovery is that the feasibility is also impacted by the training stages in that the transferability first increases during training, and then declines. We further provide a theoretical analysis to verify our observations.

研究の動機と目的

• 異なるデータセットやタスク間で深層表現が強い転送可能性を示す背後にある理由を理解すること。
• 転移学習がモデルの一般化性能と最適化安定性をどのように向上させるかを調査すること。
• 転送可能性に与える勾配ダイナミクスと損失関数の幾何的性質の役割を分析すること。
• 事前学習時間と転送性能の関係を調査すること。
• 転移学習における観察された実験的現象を理論的に裏付ける基盤を提供すること。

提案手法

• Lipschitz定数を用いて、転送後の損失関数の滑らかさの向上を定量化する損失関数の幾何的解析。
• 微調整中に事前学習済みパラメータからの重みの距離を追跡することで、極小値の平坦さを実験的に測定。
• 特に勾配の主成分における勾配の大きさの抑制を定量化し、転送された表現の特性を分析。
• ソースとターゲットデータセット間の入力およびラベルの類似度に応じた転送可能性の評価。
• 事前学習エポック数を変化させたアブレーションスタディを実施し、時間経過に伴う転送可能性の変化を評価。
• 2層の全結合ネットワークを用いた理論的分析により、実験的観察の妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 なぜ転送された深層特徴が微調整モデルの一般化性能を向上させるのか？
• RQ2 転移学習は、ターゲットタスクの最適化のあり方をどのように改善するのか？
• RQ3 勾配ダイナミクスは、転送学習における学習の安定化と高速化にどのように寄与するのか？
• RQ4 入力分布およびラベル分布の類似度は、転送可能性にどのように影響するのか？
• RQ5 事前学習エポック数は、特徴の転送可能性にどのように影響するのか？

主な発見

• 転送されたモデルは、微調整時の重みが元の事前学習済みパラメータの平坦領域に近いままに保たれるため、より平坦な極小値に収束する。
• 転送可能な表現は、損失関数のLipschitz性を向上させ、より安定的かつ高速な学習を可能にする。
• 勾配の主成分における勾配の抑制が、転送モデルにおける学習ダイナミクスの安定化に寄与している。
• 転送可能性は、完全に事前学習が終了した段階ではなく、中間的学習段階で最大に達し、その後低下する。
• ソースとターゲットタスク間の入力およびラベル分布の類似度が、高い転送可能性を実現する上で極めて重要である。
• 2層ネットワークを用いた理論的分析により、実験的発見が裏付けられ、一貫した収束境界と一般化行動が示された。