[論文レビュー] A Context-aware Capsule Network for Multi-label Classification

Sameera Ramasinghe, C.D. Athuralya+1 more|arXiv (Cornell University)|Oct 15, 2018

Domain Adaptation and Few-Shot Learning参考文献 13被引用数 4

ひとこと要約

本稿では、学習可能なルーティング重み初期化、主 capsule の活性化間の意味的関係をモデル化するための条件付きランダムフィールド（CRF）、およびデータセット全体の優先順位スキームを学習する Cholesky に基づく相関モジュールを導入することで、マルチラベル画像分類を向上させる文脈に配慮したキャプセルネットを提案する。モデルは ADE20K で 56.71 mAP を達成し、元の CapsNet よりも 14.33 ポints の向上を示した。

ABSTRACT

Recently proposed Capsule Network is a brain inspired architecture that brings a new paradigm to deep learning by modelling input domain variations through vector based representations. Despite being a seminal contribution, CapsNet does not explicitly model structured relationships between the detected entities and among the capsule features for related inputs. Motivated by the working of cortical network in human visual system, we seek to resolve CapsNet limitations by proposing several intuitive modifications to the CapsNet architecture. We introduce, (1) a novel routing weight initialization technique, (2) an improved CapsNet design that exploits semantic relationships between the primary capsule activations using a densely connected Conditional Random Field and (3) a Cholesky transformation based correlation module to learn a general priority scheme. Our proposed design allows CapsNet to scale better to more complex problems, such as the multi-label classification task, where semantically related categories co-exist with various interdependencies. We present theoretical bases for our extensions and demonstrate significant improvements on ADE20K scene dataset.

研究の動機と目的

• マルチラベル分類における CapsNet の限界、すなわち物体クラスとキャプセル特徴間の構造的関係が明示的にモデル化されていないことに対処する。
• 等しいルーティング重み初期化を学習可能でバックプロパゲーションに対応する初期化スキームに置き換えることで、訓練収束の改善と性能向上を図る。
• エンドツーエンド学習可能な条件付きランダムフィールド（CRF）を用いて、隣接する主 capsule の活性化間の意味的依存関係を活用する。
• 個々のサンプルのルーティングではなく、主 capsule と意思決定 capsule 間の一般化されたデータワイドな優先順位スキームを学習するため、Cholesky 変換に基づく相関モジュールを採用する。
• ADE20K のような複雑で現実世界のデータセット、豊富なマルチラベルアノテーションと複雑なシーン構成を伴うデータセットへの CapsNet のスケーラビリティを向上させる。

提案手法

• 低レベル特徴マップに畳み込みカーネルを適用して動的 α パrameter を生成する学習可能なルーティング重み初期化手法を提案し、初期ルーティング重みをバックプロパゲーション可能にする。
• 主 capsule の予測間の条件付き依存関係をモデル化する密接接続型 CRF モジュールを導入し、空間的および意味的関係を活用することで、文脈に配慮した予測を促進する。
• 主 capsule の出力間の相関を学習することで、データセット全体にわたる一般化された優先順位スキームを計算する Cholesky に基づく相関モジュールを設計し、グローバルな一貫性を向上させる。
• 学習された α パrameter を用いて主 capsule の予測を組み合わせる再帰関数 fρ を採用し、微分可能演算によりエンドツーエンド学習を保証する。
• 方程式 10 を用いて、学習された注目重みで主 capsule の予測を再帰的に集約し、α は畳み込み特徴マップから導出され、寄与度を適応的に重み付ける。
• 提案アーキテクチャを ADE20K に適用し、150 個の物体クラスにおける平均平均精度（mAP）と 0.5 の閾値を評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 学習可能な初期ルーティング重みは、マルチラベル分類における CapsNet の収束速度と最終的性能を向上させることができるか？
• RQ2 CRF を用いたモジュールは、隣接する主 capsule の活性化間の意味的関係をモデル化することで、予測精度をどの程度向上させることができるか？
• RQ3 主 capsule と意思決定 capsule 間の一般化された優先順位スキームを学習するデータセットワイドな相関モジュールは、複雑なマルチラベルタスクにおいて個々のサンプルのルーティングを上回る性能を示すことができるか？
• RQ4 提案されたコンポーネント（学習可能なルーティング、CRF、相関モジュール）は、ADE20K における全体の mAP 向上において、どのように相乗効果を発揮するか？
• RQ5 CapsNet は、物体の共起や空間的依存関係が顕著なような、大規模で複雑なマルチラベルデータセット、例えば ADE20K に効果的にスケーリングできるか？

主な発見

• 提案された学習可能なルーティング重み初期化により、収束が速まり、等しい初期化と比較して、9 エポック目で検証 mAP が安定化するのに対し、15 エポック目までに安定化する。
• すべてのコンポーネント（RW + CRF + CORR）を備えた完全なモデルは、ADE20K で mAP 56.71 を達成し、元の CapsNet の 42.38 mAP よりも 14.33 ポイント向上した。
• CRF モジュール単体でも、元の CapsNet よりも 10.12 ポイントの mAP 向上を示し、文脈的依存関係を捉える有効性を裏付けた。
• CRF の上に積み重ねた相関モジュールは、追加で 4.21 ポイントの mAP 向上をもたらし、グローバルな優先順位構造を学習する上で補完的役割を果たしていることを示した。
• アブレーションスタディにより、各コンポーネント（学習可能なルーティング、CRF、相関モジュール）がそれぞれ独立してかつ累積的に改善をもたらすことが確認され、個々の貢献と相乗効果の有効性が検証された。