[論文レビュー] Learning Compositional Structures for Deep Learning: Why Routing-by-agreement is Necessary

Sairaam Venkatraman, Ankit Anand+2 more|arXiv (Cornell University)|Oct 4, 2020

Topic Modeling参考文献 18被引用数 7

ひとこと要約

この論文では、ルーティング重みのエントロピー正則化をキャプセルネットワークに適用し、構成的構造を強化することを提案している。低いルーティングエントロピーが、データ内の構成的変化の検出を向上させることを示しており、同時に、正則化されていないモデルと同等の分類精度を維持している。この手法は、構成的構造をパースツリー構造として形式化し、ルーティングによる一致（routing-by-agreement）がこのような表現学習において不可欠であることを示している。

ABSTRACT

A formal description of the compositionality of neural networks is associated directly with the formal grammar-structure of the objects it seeks to represent. This formal grammar-structure specifies the kind of components that make up an object, and also the configurations they are allowed to be in. In other words, objects can be described as a parse-tree of its components -- a structure that can be seen as a candidate for building connection-patterns among neurons in neural networks. We present a formal grammar description of convolutional neural networks and capsule networks that shows how capsule networks can enforce such parse-tree structures, while CNNs do not. Specifically, we show that the entropy of routing coefficients in the dynamic routing algorithm controls this ability. Thus, we introduce the entropy of routing weights as a loss function for better compositionality among capsules. We show by experiments, on data with a compositional structure, that the use of this loss enables capsule networks to better detect changes in compositionality. Our experiments show that as the entropy of the routing weights increases, the ability to detect changes in compositionality reduces. We see that, without routing, capsule networks perform similar to convolutional neural networks in that both these models perform badly at detecting changes in compositionality. Our results indicate that routing is an important part of capsule networks -- effectively answering recent work that has questioned its necessity. We also, by experiments on SmallNORB, CIFAR-10, and FashionMNIST, show that this loss keeps the accuracy of capsule network models comparable to models that do not use it .

研究の動機と目的

• 空間的文法規則から導出される文法的枠組みを用いて、ニューラルネットワークの構成的構造をパースツリー文法として形式化すること。
• 畳み込みニューラルネットワーク（CNNs）が、導出規則の重要性を割り当てるメカニズムを欠いているのに対し、キャプセルネットワークではそのようなメカニズムを有することを特定すること。
• キャプセルネットワークにおけるルーティングによる一致（routing-by-agreement）が、ルーティング重みのエントロピー正則化によって改善可能かどうかを調査すること。
• エントロピー正則化が分類性能を低下させることなく、構成的汎化性を向上させることを評価すること。
• 低ルーティングエントロピーを有するキャプセルネットワークが、構成的構造の変化を検出できることを実証すること—これは、CNN や正則化されていないキャプセルネットワークとは対照的である。

提案手法

• 物体を許容可能な構成を持つ部品のパースツリーとして表現する文法的フレームワークを用いて、CNN およびキャプセルネットワークの構成的構造を形式化する。
• 動的ルーティングにおけるルーティング重みを、予測の一致度を示す指標として定義し、低いエントロピーは、ある1つのより深いキャプセルへの明確で一意なルーティングを示す。
• ルーティング重みの高いエントロピーをペナルティとするエントロピー損失関数を導入し、スパースで明確なルーティング意思決定を促進する。
• ハイパーパrameterをスケジュールまたは固定値として調整し、エントロピー損失を標準分類損失と重み付き和で結合する。
• SmallNORB、CIFAR-10、FashionMNISTで、エントロピー正則化あり・なしのキャプセルネットワークを訓練し、精度とルーティングエントロピーの両方を測定する。
• 部品の再配置（例：顔のパーツを再配置）などの制御されたデータを用いて、構成的汎化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 形式的文法ベースの記述は、CNN とキャプセルネットワークの構成的能力を区別できるか？
• RQ2 キャプセルネットワークにおけるルーティング重みのエントロピーは、構成的構造の変化検出能力と相関するか？
• RQ3 ルーティング重みのエントロピー正則化により、キャプセルネットワークの構成的汎化性が向上し、分類精度を損なわずに実現可能か？
• RQ4 エントロピー正則化キャプセルネットワークの性能は、正則化されていないキャプセルネットワークや CNN と比較して、構成的構造検出タスクで優れているか？
• RQ5 ルーティングによる一致（routing-by-agreement）は、キャプセルネットワークにおける構成的表現を達成するために不可欠か？

主な発見

• エントロピー正則化されたルーティング重みを有するキャプセルネットワークは、正則化されていないキャプセルネットワークや CNN よりも、構成的構造の変化を顕著に優れた精度で検出できる。
• ルーティング重みのエントロピーは、構成的汎化性と逆相関関係にあり、高いエントロピーは構造的変化の検出能力の低下を示す。
• エントロピー正則化キャプセルネットワークは、SmallNORB、CIFAR-10、FashionMNISTで、正則化されていないモデルと同等のテストセット精度を達成しており、全データセットで平均精度が1〜2%以内の範囲に収まっている。
• FashionMNISTでは、0.4caps1 モデルが 90.33% の精度を達成し、平均エントロピー損失は 0.0003 であった。一方、正則化されていない unregcaps1 は 92.73% の精度を達成し、より高いエントロピー損失（1.05）を示した。
• Peer ら（2018）のルーティングアルゴリズムを用いたモデルは、正則化モデルと同等の性能を示した。これは、ルーティング機構の設計が構成的学習において極めて重要であることを示唆している。
• 正則化モデルにおける訓練実行間での精度のばらつきは、すべての層でエントロピー損失を最適化することが依然として困難であることを示しており、ただし、構成的改善という主な目的は達成されている。