[論文レビュー] On the Transferability of Representations in Neural Networks Between Datasets and Tasks

Haytham M. Fayek, Lawrence Cavedon+1 more|arXiv (Cornell University)|Nov 29, 2018

Domain Adaptation and Few-Shot Learning参考文献 14被引用数 4

ひとこと要約

この論文は、画像認識（CIFAR-10、CIFAR-100、SVHN）および音声処理（TIMITにおけるASR、IEMOCAPにおけるSER）の多様なデータセットやタスクにおける深層ニューラルネットワーク表現のレイヤーごとの転送可能性を調査する。複数のConvNetアーキテクチャを用いた段階的転移学習を通じて、転送可能性は非対称的であり、主にデータセット/タスクの類似性によって駆動されることが判明した。ネットワークアーキテクチャではなく、初期層の転送可能性が深層層よりも顕著に高いことが示された。

ABSTRACT

Deep networks, composed of multiple layers of hierarchical distributed representations, tend to learn low-level features in initial layers and transition to high-level features towards final layers. Paradigms such as transfer learning, multi-task learning, and continual learning leverage this notion of generic hierarchical distributed representations to share knowledge across datasets and tasks. Herein, we study the layer-wise transferability of representations in deep networks across a few datasets and tasks and note some interesting empirical observations.

研究の動機と目的

• 深層ネットワークで学習された表現が、異なるデータセットやタスク間でどのように転送されるかを分析すること。
• データセットやタスク間での転送可能性が対称的か非対称的かを調査すること。
• データセット/タスクの類似性とニューラルネットワークアーキテクチャの両方が、転送可能性に与える影響を評価すること。
• レイヤーごとの転送可能性をタスクの類縁度を測定する代理指標として用いる可能性を検討すること。
• 複数のアーキテクチャを用いて、コンピュータビジョンおよび音声処理タスクの両方における転送可能性を評価すること。

提案手法

• 段階的転移学習が用いられ、あるデータセット/タスクで事前学習されたモデルの特徴が、初期層の数を段階的に固定することで、別のデータセット/タスクに転送される。
• 各データセット/タスクのペアに対して、最初の $ l_c \in \{0,\dots,L_H\} $ レイヤーが固定され、残りのレイヤーが微調整される。
• 研究結果のアーキテクチャに依存しない強度を評価するため、標準的なモデル（Model A）とVGGNetを模したモデル（Model B）の2つのConvNetアーキテクチャが用いられた。
• 標準化された前処理およびトレーニングプロトコルを用いて、画像データセット（CIFAR-10、CIFAR-100、SVHN）および音声データセット（ASRのTIMIT、SERのIEMOCAP）で実験が実施された。
• 分類精度を、固定レイヤー数の関数として測定することで、各レイヤーにおける転送可能性を評価した。
• 交差検証および標準化されたデータ分割（例：IEMOCAPでは8分割交差検証の1人を除いた分割）を用いることで、評価の信頼性を確保した。

実験結果

リサーチクエスチョン

• RQ1 2つのデータセットまたはタスク間での表現の転送可能性は対称的か、それとも一方の方向が他方よりも利益を受けるか？
• RQ2 データセットやタスクの性質が、ニューラルネットワークアーキテクチャと比較して、レイヤーごとの転送可能性にどのように影響を与えるか？
• RQ3 レイヤーごとの転送可能性は、タスクの類縁度を測定する信頼できる代理指標として機能できるか？
• RQ4 同じタスクペアに適用した場合、異なるニューラルネットワークアーキテクチャ間で転送可能性はどのように変化するか？
• RQ5 視覚および音声タスクの両方において、深層ネットワークの各レイヤーでの転送可能性のパターンはどのようなものか？

主な発見

• データセット間の転送可能性は非対称的である：CIFAR-10やCIFAR-100からの表現は、SVHNへの転送がCIFAR-100からCIFAR-10への転送よりも顕著である。これは、CIFARクラスが一般性を持つのに対し、SVHNは数字に特化しているためである。
• データセットやタスクの性質が、ニューラルネットワークアーキテクチャよりも転送可能性の決定要因として強く影響している。Model AおよびModel Bの両方で、類似した転送可能性のトレンドが観察された。
• 深層ネットワークの初期層は、深層層よりも顕著に高い転送可能性を示しており、これは全テストデータセットおよびアーキテクチャで一貫して確認された。
• 転送可能性はレイヤーの深さとともに徐々に低下するため、汎用的からタスク固有の表現へと特徴が段階的に進化する傾向が示された。
• レイヤーごとの転送可能性のパターンは、画像認識と音声処理の両方のタスクで一貫しており、深層表現における一般化可能な挙動を示唆している。
• 転送可能性の代理指標は、タスクの類縁度を効果的に捉えており、類似度の高いタスク（例：CIFAR-10とCIFAR-100）間では高い転送可能性が観察された一方、類似度の低いタスク（例：SVHNとCIFAR-10）間では低い転送可能性が観察された。