[論文レビュー] Capsule networks for low-data transfer learning

Andrew Gritsevskiy, Maksym Korablyov|arXiv (Cornell University)|Apr 26, 2018

Topic Modeling参考文献 2被引用数 3

ひとこと要約

本稿では、中間ルーティングを用いた生成的・非生成的カプセルネットワークを組み合わせることで、少数のデータ例での転移学習に特化したカプセルネットワークベースのアーキテクチャを提案する。この手法により、新しいクラスへの適応が著しく高速化され、生成的カプセルネットワークは、同等の畳み込みニューラルネットワーク（CNN）と比較して、未学習の数字に25倍以上速く一般化できることを示している。多様なMNIST（multiMNIST）データセットにおいて、欠落している数字の1～100例の学習例でのみ、同等の精度に到達している。

ABSTRACT

We propose a capsule network-based architecture for generalizing learning to new data with few examples. Using both generative and non-generative capsule networks with intermediate routing, we are able to generalize to new information over 25 times faster than a similar convolutional neural network. We train the networks on the multiMNIST dataset lacking one digit. After the networks reach their maximum accuracy, we inject 1-100 examples of the missing digit into the training set, and measure the number of batches needed to return to a comparable level of accuracy. We then discuss the improvement in low-data transfer learning that capsule networks bring, and propose future directions for capsule research.

研究の動機と目的

• 人間が少数の例から学習できるのに対し、ニューラルネットワークが新しい概念に一般化するためには膨大なデータ量を必要とするという課題に対処すること。
• カプセルネットワークが、データが少ない状況下での転移学習性能を顕著に向上させられるかどうかを調査すること。
• 中間ルーティングを用いた生成的および非生成的カプセルネットワークが、少数の学習例での新しいクラスへの適応にどの程度効果的であるかを評価すること。
• 欠落した数字データを部分的に訓練済みのモデルに挿入した際、カプセルネットワークと畳み込みニューラルネットワーク（CNN）の収束速度および最終的な精度を比較すること。

提案手法

• 本研究では3つのアーキテクチャを採用する：標準的な畳み込みニューラルネットワーク（CNN）、動的ルーティングを用いた通常のカプセルネットワーク、および畳み込み再構成を用いたメモアーキテクチャを採用した生成的カプセルネットワーク。
• カプセルネットワークでは、カプセル間の予測的一致性に基づいて情報をルーティングする動的ルーティングが用いられ、オブジェクトの姿勢やインスタンス化パラメータの推定が向上する。
• 生成的カプセルネットワークは、数字のカプセル活性化から入力画像を再構成することで、エンドツーエンドの学習により特徴の学習と一般化が向上する。
• 実験では、欠落している数字（subMMNIST）および限られた例（ldMMNIST）を用いたmultiMNISTデータセットが使用される。ここでは、特定の数字の例が1～5000例に制限されている。
• まずsubMMNIST（欠落している数字）で訓練を行い、その後、multiMNISTまたはldMMNISTを用いて欠落している数字を挿入し、元の精度に回復するまでの収束速度を測定する。
• 性能評価は、データ挿入後の微調整段階におけるバッチ単位の正確さを追跡することで行い、最終的な正確さと収束時間の2つを主な指標とする。

実験結果

リサーチクエスチョン

• RQ1 カプセルネットワークは、従来のCNNと比較して、はるかに少ない学習例で新しいクラスに一般化できるか？
• RQ2 カプセルネットワークに生成的再構成を組み込むことで、少数データの転移学習における収束速度にどのような影響を与えるか？
• RQ3 部分的に訓練済みのモデルに欠落している数字を挿入した際、カプセルネットワークとCNNの間で適応速度にどの程度の相対的改善が見られるか？
• RQ4 カプセルネットワークにおける中間ルーティングは、少データ学習のシナリオでの一般化を強化するか？
• RQ5 少数の例（1～5000例）の数に応じて、カプセルネットワークの収束速度がCNNと比較してどのように変化するか？

主な発見

• 欠落している数字の100例を訓練セットに挿入した場合、生成的カプセルネットワークは、同等の畳み込みニューラルネットワーク（CNN）と比較して、元の精度に回復するまでの収束が25倍以上速かった。
• 100例の挿入後、生成的カプセルネットワークは、全数字テストセットで最終テスト正確度0.974999995に到達し、収束速度においてCNNを顕著に上回った。
• 欠落している数字の学習例が1例のみの場合、生成的カプセルネットワークは最終正確度0.970703125を達成し、強力な少データ一般化能力を示した。
• 微調整の全過程を通じてカプセルネットワークは高い正確度（0.96以上）を維持したが、CNNはデータ挿入フェーズからの回復にはるかに多くのバッチを要した。
• 生成的カプセルネットワークの再構成メカニズムにより、特に少数データ環境下で、より速く安定した適応が可能になった。これは、より良い特徴の分離と姿勢推定によるものである。
• わずか1例の欠落している数字の例でも、カプセルネットワークは最終正確度0.9707に到達し、最小限の監視情報からの頑健な一般化能力を示した。