[論文レビュー] An Algorithm for Routing Capsules in All Domains

Franz A. Heinsen|arXiv (Cornell University)|Nov 2, 2019

Topic Modeling参考文献 16被引用数 5

ひとこと要約

本論文は、入力キャプセルの使用に伴うネット利益とコストを計算するEMフレームワーク内での新しいD-Stepを用いた、普遍的で新規のルーティングアルゴリズムを提案する。この手法により、最小限のハイパーパrameterチューニングで視覚および自然言語処理の両タスクで最先端の性能を達成できる。smallNORBでは、従来のキャプセルモデルよりも少ないパラメータ数と訓練エポック数で99.1%の精度を達成し、SST-2/Rでは固定されたBERT埋め込みを用いて95.6%の精度を示した。これは、分野をまたがる普遍的な適用可能性を示している。

ABSTRACT

Building on recent work on capsule networks, we propose a new, general-purpose form of "routing by agreement" that activates output capsules in a layer as a function of their net benefit to use and net cost to ignore input capsules from earlier layers. To illustrate the usefulness of our routing algorithm, we present two capsule networks that apply it in different domains: vision and language. The first network achieves new state-of-the-art accuracy of 99.1% on the smallNORB visual recognition task with fewer parameters and an order of magnitude less training than previous capsule models, and we find evidence that it learns to perform a form of "reverse graphics." The second network achieves new state-of-the-art accuracies on the root sentences of the Stanford Sentiment Treebank: 58.5% on fine-grained and 95.6% on binary labels with a single-task model that routes frozen embeddings from a pretrained transformer as capsules. In both domains, we train with the same regime. Code is available at https://github.com/glassroom/heinsen_routing along with replication instructions.

研究の動機と目的

• 視覚および自然言語処理を含む多様な分野に適用可能な、普遍的なキャプセルネットワーク用ルーティングアルゴリズムの開発。
• EMルーティングループ内に新規のD-Stepを導入し、入力キャプセルの使用による利益と無視によるコストを同時にモデル化することで、キャプセルネットワークの性能を向上させること。
• 自然言語処理におけるシーケンスモデリングに不可欠な可変サイズの入力を処理しつつ、低パラメータ数と高い精度を維持すること。
• ドメイン固有のチューニングなしに、同じルーティングアルゴリズム、訓練体制、モデルアーキテクチャが複数の分野で最先端の結果を達成できることを示すこと。
• エンドツーエンド訓練を通じて、『リバースグラフィックス』（視覚分野でのポーズ再構築）や言語分野での木構造的構造など、構造的表現を学習するキャプセルネットワークの可能性を探ること。

提案手法

• 出力キャプセルが使用する入力キャプセルからの投票確率を反復的に最大化する期待値最大化（EM）フレームワークを採用。
• E-StepとM-Stepの間に、各出力キャプセルが各入力キャプセルをどれだけ使用するか、または無視するかを、ネット利益（使用）からネットコスト（無視）を引いた値に基づいて計算する、新規のD-Stepを導入。
• ネット利益とネットコストの差にロジスティック関数を適用することで、出力キャプセルの活性化値を計算し、安定で微分可能な最適化を可能にする。
• 各埋め込みを文脈依存の出力を持つキャプセルとして扱うことで、文脈化されたトークン埋め込みのシーケンスといった可変サイズの入力を処理可能にする。
• 出力の可変サイズをサポートし、活性化スコアをロジスティック関数を通すことで、数値的安定性と下流の目的関数に対する柔軟性を向上。
• 出力キャプセルが入力キャプセルの投票を「競争」する形で動作するアテンションの一種であり、各出力が同意度と利益・コストのトレードオフに基づき、異なる入力サブセットに注目する。

実験結果

リサーチクエスチョン

• RQ1 統一されたキャプセルネットワークルーティングアルゴリズムが、同一の訓練体制で視覚および自然言語処理タスクの両方で最先端の性能を達成できるか？
• RQ2 入力キャプセルの使用による利益と無視によるコストを同時にモデル化することで、キャプセルネットワークのルーティング性能および一般化性能がどのように向上するか？
• RQ3 エンドツーエンド訓練によって、明示的な教師信号なしに、ポーズや文法的木構造といった構造的表現をキャプセルネットワークがどの程度学習できるか？
• RQ4 本手法のルーティングアルゴリズムは、埋め込みのシーケンスといった可変サイズの入力を効果的に処理できるか？ また、低パラメータ数と高い精度を維持できるか？
• RQ5 ルーティング機構は、このタスクに特化したアーキテクチャや損失関数の設計なしに、入力とラベルからポーズを再構築する『リバースグラフィックス』を学習可能か？

主な発見

• 提案されたルーティングアルゴリズムを用いたキャプセルネットワークは、smallNORB視覚認識タスクで99.1%のテスト精度を達成。パラメータ数272,000、訓練エポック数50という少ないリソースで、従来の最先端手法を上回った。
• smallNORBモデルは従来のキャプセルモデルよりも一般化性能に優れ、クロップ平均によるデータ拡張を一切必要とせず、フル解像度の96×96ステレオ画像をそのまま使用した。
• 可視化プロットから、明示的な最適化なしに、ピクセルデータとラベルからポーズを再構築する『リバースグラフィックス』の学習の兆候が観察された。
• SST-2/Rセンチメント分類タスクでは、単一タスクアーキテクチャで95.6%の精度を達成し、単一モデル性能で新たな最先端を記録した。
• SST-5/Rでは、140,000パラメータのみで58.5%の精度を達成し、これも新たな最先端記録。GPT-2-largeの固定埋め込みをキャプセルとしてルーティングした。
• 同じルーティングアルゴリズム、訓練体制、モデルアーキテクチャが両分野で最先端の結果を達成した。これにより、アルゴリズムの普遍性と組み合わせ可能な性質が示された。