[論文レビュー] Siamese Capsule Networks

James O’ Neill|arXiv (Cornell University)|May 18, 2018

Face recognition and analysis参考文献 25被引用数 16

ひとこと要約

本論文は、$€$2正規化されたキャプセルポーズ特徴と対照的損失を活用することで、顔認識などのペairワイズ学習タスクに拡張された新しいアーキテクチャ、シアンズキャプセルネットワーク（SCN）を提案する。SCNは、少ないショット顔認識において最先端の性能を達成し、パラメータ数を25%削減したにもかかわらず、AlexNet や ResNet-34 といった強力なベースラインを上回る。

ABSTRACT

Capsule Networks have shown encouraging results on extit{defacto} benchmark computer vision datasets such as MNIST, CIFAR and smallNORB. Although, they are yet to be tested on tasks where (1) the entities detected inherently have more complex internal representations and (2) there are very few instances per class to learn from and (3) where point-wise classification is not suitable. Hence, this paper carries out experiments on face verification in both controlled and uncontrolled settings that together address these points. In doing so we introduce extit{Siamese Capsule Networks}, a new variant that can be used for pairwise learning tasks. The model is trained using contrastive loss with $\ell_2$-normalized capsule encoded pose features. We find that extit{Siamese Capsule Networks} perform well against strong baselines on both pairwise learning datasets, yielding best results in the few-shot learning setting where image pairs in the test set contain unseen subjects.

研究の動機と目的

• クラスごとの例が少ない状況下で、標準のキャプセルネットワークが示す限界を克服すること。
• 顔認識のような、全体的なエンティティ間の関係学習を必要とするタスクに、キャプセルネットワークを拡張すること。
• 制御された環境と制御されていない環境の両方で、複雑な現実世界の顔認識タスクにおけるキャプセルネットワークの評価を行うこと。
• 低データ環境下でも、空間的関係性と視点不変性を保持するキャプセルベースの表現の有効性を示すこと。

提案手法

• 重み共有の二重ブランチアーキテクチャを採用したシアンズキャプセルネットワーク（SCN）を提案。画像ペアを並列に処理し、統合埋め込みを学習する。
• 空間的関係性と視点情報の保持を目的として、$€$2正規化されたキャプセル符号化ポーズベクトルを特徴表現として使用。
• 対照的損失を用いて、画像ペア間の類似度を最適化。クラス内距離を最小化し、クラス間距離を最大化する。
• 反復的ダイナミックルーティングを用いてキャプセル間の一致を計算。これにより、部分と全体の関係性と平行移動不変性を実現。
• 訓練の分散を低減し収束性を向上させるために、初期畳み込み層にバッチ正規化を適用。
• 複数の距離尺度（ユークリッド距離、マンハッタン距離）と損失の変種（ダブルマージンを含む）を評価し、性能最適化を図る。

実験結果

リサーチクエスチョン

• RQ1 標準の分類タスクに不適切な、ペアワイズ学習タスク（例：顔認識）にキャプセルネットワークが効果的に一般化できるか？
• RQ2 テスト時に未観測の被験者を含む状況下で、シアンズキャプセルネットワークは少ないショット学習シナリオでどれほど高い性能を発揮するか？
• RQ3 標準のCNNと比較して、$€$2正規化されたキャプセルポーズ特徴の使用が一般化性能とロバスト性を向上させるか？
• RQ4 低データ環境下で、キャプセル特徴と対照的損失を用いる場合と、標準のクロスエントロピー損失を用いる場合とを比較すると、性能にどのような差が出るか？

主な発見

• 少ないショット学習設定下で、AT&TデータセットにおいてSCNが最も高い性能を示した。特に、未観測の被験者をテスト対象とした際の性能が顕著であった。
• Labeled Faces in the Wild（LFW）データセットでは、SCNはパラメータ数を25%削減したにもかかわらず、AlexNet や ResNet-34 と同等またはそれ以上の性能を達成した。
• AT&Tデータセットでは、マンハッタン距離を用いた場合、SCNはより速い収束を示し、バッチ正規化を適用することで損失の分散が低減された。
• 対照的損失に$€$2正規化された特徴を組み合わせることで、正例ペアのマッチング精度が向上し、予測分散も低減された。
• ダブルマージンの導入により、標準のSCNではLFWでの性能が向上したが、コンcreteドロップアウトと組み合わせた場合はわずかに性能が低下した。
• パラメータ数が少ないにもかかわらず、訓練時の反復的ルーティング処理の影響で、CNNよりもSCNは遅くなった。