[論文レビュー] The Heterogeneity Hypothesis: Finding Layer-Wise Dissimilated Network Architecture.

Yawei Li, Wen Li+5 more|arXiv (Cornell University)|Jun 29, 2020

Advanced Neural Network Applications参考文献 26被引用数 4

ひとこと要約

本稿では、『不均一性仮説』を提唱し、拡張されたベースラインネットワークから剪定することで得られる層別に異なる構造を持つネットワーク（LW-DNA）が、モデル複雑度を低く抑えつつも、標準アーキテクチャを上回る優れた性能を達成することを示している。この手法は追加の訓練コストを要せず、層ごとの最適なチャネル構成を特定でき、画像分類、視覚追跡、画像修復のタスクにおいて一貫してベースラインを上回る性能を発揮する。

ABSTRACT

In this paper, we tackle the problem of convolutional neural network design. Instead of focusing on the overall architecture design, we investigate a design space that is usually overlooked, \ie adjusting the channel configurations of predefined networks. We find that this adjustment can be achieved by pruning widened baseline networks and leads to superior performance. Base on that, we articulate the ``heterogeneity hypothesis'': with the same training protocol, there exists a layer-wise dissimilated network architecture (LW-DNA) that can outperform the original network with regular channel configurations under lower level of model complexity. The LW-DNA models are identified without added computational cost and training time compared with the original network. This constraint leads to controlled experiment which directs the focus to the importance of layer-wise specific channel configurations. Multiple sources of hints relate the benefits of LW-DNA models to overfitting, \ie the relative relationship between model complexity and dataset size. Experiments are conducted on various networks and datasets for image classification, visual tracking and image restoration. The resultant LW-DNA models consistently outperform the compared baseline models.

研究の動機と目的

• 畳み込みニューラルネットワークにおけるチャネル構成の調整という未開拓の設計空間を調査すること。
• 標準的なネットワーク設計における、全層にわたる固定で均一なチャネル構成という制限を是正すること。
• 層ごとに異なるチャネル構成を採用することで、複雑度を低く抑えつつもより優れた性能が得られるかどうかを検証すること。
• 性能向上が、特にデータセットサイズとモデル複雑度の関係において、一般化性能の向上に起因するかどうかを検証すること。
• 訓練コストや計算負荷の増加なしに、高性能なLW-DNAモデルを特定する手法を開発すること。

提案手法

• 拡張されたベースラインネットワークを剪定することで、最適化されたチャネル構成を持つ層別に異なる構造を持つネットワーク（LW-DNA）を同定する。
• すべてのモデルに対して一貫した訓練プロトコルを適用し、チャネル構成の変更が性能に与える影響を明確に分離する。
• LW-DNAの同定にあたり、元のネットワークと同一の訓練設定を用いることで、追加の訓練コストや時間の増加を回避する。
• モデル複雑度とデータセットサイズの関係を分析し、過学習の低減による性能向上を説明する。
• 複数のアーキテクチャとデータセットを用いてLW-DNAモデルを体系的に評価し、一般化性能を検証する。
• 過学習ダイナミクスの知見を活用して、層ごとのチャネル構成の最適選択を支援する。

実験結果

リサーチクエスチョン

• RQ1 層別に異なる構造を持つネットワーク（LW-DNA）は、モデル複雑度を低く抑えつつも、標準アーキテクチャを上回る性能を達成できるか？
• RQ2 LW-DNAの性能向上は、特にデータセットサイズとモデル複雑度の関係において、一般化性能の向上に起因するか？
• RQ3 元のネットワークと比較して、追加の訓練コストや計算負荷なしにLW-DNAを同定できるか？
• RQ4 モデル複雑度とデータセットサイズの相対的関係が、LW-DNAの有効性にどのように影響するか？
• RQ5 LW-DNAモデルは、画像分類、視覚追跡、画像修復といった異なるタスクにわたって、どの程度一般化するか？

主な発見

• LW-DNAモデルは、複数の画像分類ベンチマークにおいて、一貫して標準ベースラインネットワークを上回る性能を示した。
• 提案手法は、訓練時間や計算コストの増加なしに、高性能なLW-DNAアーキテクチャを同定できた。
• 性能向上は、特にモデル複雑度とデータセットサイズが適切に一致している場合に顕著な過学習の低減に起因する。
• 不均一性仮説は妥当であると検証された：層別に異なる構造を持つアーキテクチャは、元のネットワークよりも低複雑度で優れた性能を発揮する。
• 視覚追跡や画像修復を含む多様なタスクにおける実験により、LW-DNAモデルの強靭性と一般化性能が確認された。
• 最適なチャネル構成は層ごとに特異的であり、均一で対称的な設計では捉えきれないことが明らかになった。