[論文レビュー] Learning Implicitly Recurrent CNNs Through Parameter Sharing

Pedro Savarese, Michael Maire|arXiv (Cornell University)|Feb 1, 2019

Advanced Neural Network Applications被引用数 19

ひとこと要約

本論文では、共有パラメータテンプレートの線形結合を学習することで、畳み込みニューラルネットワーク（CNN）が暗黙的に再帰的構造を学習できるパラメータ共有スキームを提案する。テンプレート数を制限することで、パラメータの効率性を大幅に向上させつつ、精度を維持し、アルゴリズム的タスクにおける高速で一般化可能な学習を可能にする。これは、ニューラルアーキテクチャサーチ（NAS）と同等の性能を示すハイブリッドCNN-再帰的アーキテクチャを提供する。

ABSTRACT

We introduce a parameter sharing scheme, in which different layers of a convolutional neural network (CNN) are defined by a learned linear combination of parameter tensors from a global bank of templates. Restricting the number of templates yields a flexible hybridization of traditional CNNs and recurrent networks. Compared to traditional CNNs, we demonstrate substantial parameter savings on standard image classification tasks, while maintaining accuracy. Our simple parameter sharing scheme, though defined via soft weights, in practice often yields trained networks with near strict recurrent structure; with negligible side effects, they convert into networks with actual loops. Training these networks thus implicitly involves discovery of suitable recurrent architectures. Though considering only the design aspect of recurrent links, our trained networks achieve accuracy competitive with those built using state-of-the-art neural architecture search (NAS) procedures. Our hybridization of recurrent and convolutional networks may also represent a beneficial architectural bias. Specifically, on synthetic tasks which are algorithmic in nature, our hybrid networks both train faster and extrapolate better to test examples outside the span of the training set.

研究の動機と目的

• CNNに明示的な再帰ユニットを導入せずに、再帰的アーキテクチャを暗黙的に学習できるパラメータ共有メカニズムの設計。
• 標準的な画像ベンチマークにおける分類精度を維持または向上させながら、モデルのパラメータ数を削減すること。
• パラメータ共有による暗黙的再帰が、アルゴリズム的で分布外のタスクにおいて、より良い一般化性能と高速な学習をもたらすかどうかの検証。
• このハイブリッドアーキテクチャが、最先端のニューラルアーキテクチャサーチ（NAS）手法と同等の性能を達成できるかどうかの評価。

提案手法

• 本手法は、CNNの異なる層を、グローバルな共有テンプレートのバンクから抽出したパラメータテンソルの学習された線形結合として定義する。
• パラメータ共有を強制するためにテンプレートの数を制限し、従来のCNNと再帰ネットワークの中間的な柔軟なハイブリッド構造を構築する。
• パラメータ共有はソフトウェイトを介して実装され、訓練中に結合係数の勾配更新が可能になる。
• ソフトウェイトで定義されていながらも、訓練されたネットワークはしばしば実際のループを持つ近似の厳密な再帰構造に収束し、効率的な推論が可能になる。
• 明示的なアーキテクチャ探索を用いずに、エンドツーエンドの学習によって適切な再帰的アーキテクチャを暗黙的に発見する。

実験結果

リサーチクエスチョン

• RQ1 層間のパラメータ共有がCNNに暗黙的再帰を引き起こし、効果的な再帰的動作をもたらすか？
• RQ2 この暗黙的再帰が、パラメータ効率性およびアルゴリズム的タスクにおける一般化性能の向上に寄与するか？
• RQ3 得られるハイブリッドアーキテクチャが、最先端のNAS手法と同等の精度を達成できるか？
• RQ4 共有テンプレートの数がモデルの性能およびパラメータ効率性にどのように影響するか？

主な発見

• 提案手法は、標準的な画像分類タスクにおいて顕著なパラメータ削減を達成しながら、競争力のある精度を維持している。
• 訓練済みのネットワークはしばしば近似の厳密な再帰構造に収束し、実際の再帰ネットワークに変換しても性能の低下は無視できるほど小さい。
• 合成されたアルゴリズム的タスクにおいて、このハイブリッドネットワークは標準CNNよりも高速に学習し、分布外のテスト例に対してもより優れた一般化性能を示している。
• 明示的なアーキテクチャ探索を用いていないにもかかわらず、最先端のニューラルアーキテクチャサーチ（NAS）手順と同等の性能を達成している。