[論文レビュー] On Learning and Learned Representation with Dynamic Routing in Capsule Networks.

Ancheng Lin, Jun Li+1 more|arXiv (Cornell University)|Oct 8, 2018

Machine Learning in Healthcare参考文献 2被引用数 5

ひとこと要約

本稿は、動的ルーティングがモデル適合、表現学習、一般化に与える影響を理解するために、キャプセルネットワークにおける動的ルーティングを調査する。本研究では、ルーティングが情報の確実性を制御し、CNNよりも意味的な2次元多様体埋め込みを可能にするとともに、データ分布全体にわたってより結合が弱く、より適応性のあるキャプセル表現を生み出すことを示している。

ABSTRACT

Capsule Networks (CapsNet) are recently proposed multi-stage computational models specialized for entity representation and discovery in image data. CapsNet employs iterative routing that shapes how the information cascades through different levels of interpretations. In this work, we investigate i) how the routing affects the CapsNet model fitting, ii) how the representation by capsules helps discover global structures in data distribution and iii) how learned data representation adapts and generalizes to new tasks. Our investigation shows: i) routing operation determines the certainty with which one layer of capsules pass information to the layer above, and the appropriate level of certainty is related to the model fitness, ii) in a designed experiment using data with a known 2D structure, capsule representations allow more meaningful 2D manifold embedding than neurons in a standard CNN do and iii) compared to neurons of standard CNN, capsules of successive layers are less coupled and more adaptive to new data distribution.

研究の動機と目的

• 動的ルーティングがキャプセルネットワークにおけるモデルの適合性と情報フローに与える影響を分析すること。
• キャプセル表現が、標準的なCNNニューロンと比較して、より良いグローバルなデータ構造を捉えられるかどうかを評価すること。
• 学習されたキャプセル表現の、新しいデータ分布への適応性と一般化能力を評価すること。
• キャプセルと従来のCNNニューロンとの間で、結合強度と表現の柔軟性にどのような差があるかを比較すること。

提案手法

• 下位レイヤーのキャプセル間の合意に基づいて、情報の流れを制御するための反復的動的ルーティングを採用した。
• キャプセル表現の多様体埋め込みの質を評価するため、既知の2次元構造を持つ合成データセットを設計した。
• 次元削減技術を用いて、学習された特徴空間におけるキャプセルとニューロンの表現を可視化・比較した。
• 合成データ上でCapsNetを訓練し、分布シフト下での表現の安定性と適応性を評価した。
• 層間の活性化依存関係を測定することで、キャプセル層間の結合を定量化した。
• 分布がシフトしたデータに対して、下流タスクにおけるキャプセルとニューロン表現の一般化性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 ルーティング機構は、モデルの適合性と情報伝達の確実性にどのように影響するか？
• RQ2 キャプセル表現は、標準的なCNNニューロンと比較して、データの潜在的な2次元多様体構造をより効果的に回復できるか？
• RQ3 キャプセル表現は、従来のCNNニューロンと比較して、新しいデータ分布にどのように適応するか？
• RQ4 連続するキャプセル層は、それらのCNN対応物と比較して、どの程度結合が弱く、より柔軟性があるか？

主な発見

• 動的ルーティングは、下位レイヤーのキャプセルが上位レイヤーのキャプセルに情報をルーティングする際の確実性を決定づけ、最適なルーティングレベルはモデル適合性の向上と相関している。
• 既知の2次元構造を持つ合成データセットにおいて、キャプセル表現はCNNニューロンよりも意味的な2次元多様体埋め込みを実現した。
• 連続するレイヤーのキャプセルは、CNNニューロンと比較して結合が弱く、独立性と適応性が向上していることが示された。
• 標準的なCNNニューロンと比較して、キャプセル表現は新しいデータ分布への一般化がより効果的であり、より高い耐障害性と柔軟性を示した。