[論文レビュー] Deformable Capsules for Object Detection

Rodney Lalonde, Naji Khosravan+1 more|arXiv (Cornell University)|Apr 11, 2021

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、MS COCO上で効率的でスケーラブルな1段階検出を可能にする、最初のオブジェクト検出用キャプセルネットワークであるDeformCapsを紹介する。新規のSplitCapsアーキテクチャとSEルーティングアルゴリズムを組み合わせることで、CNNベースの検出器と同等の最先端の性能を達成すると同時に、誤検出を低減し、異常なオブジェクトのポーズへの一般化性能を向上させる。

ABSTRACT

Capsule networks promise significant benefits over convolutional networks by storing stronger internal representations, and routing information based on the agreement between intermediate representations' projections. Despite this, their success has been limited to small-scale classification datasets due to their computationally expensive nature. Though memory efficient, convolutional capsules impose geometric constraints that fundamentally limit the ability of capsules to model the pose/deformation of objects. Further, they do not address the bigger memory concern of class-capsules scaling up to bigger tasks such as detection or large-scale classification. In this study, we introduce a new family of capsule networks, deformable capsules ( extit{DeformCaps}), to address a very important problem in computer vision: object detection. We propose two new algorithms associated with our extit{DeformCaps}: a novel capsule structure ( extit{SplitCaps}), and a novel dynamic routing algorithm ( extit{SE-Routing}), which balance computational efficiency with the need for modeling a large number of objects and classes, which have never been achieved with capsule networks before. We demonstrate that the proposed methods efficiently scale up to create the first-ever capsule network for object detection in the literature. Our proposed architecture is a one-stage detection framework and it obtains results on MS COCO which are on par with state-of-the-art one-stage CNN-based methods, while producing fewer false positive detection, generalizing to unusual poses/viewpoints of objects.

研究の動機と目的

• コンピュータビジョンにおける重要なギャップである、大規模オブジェクト検出におけるキャプセルネットワークの欠如を解消すること。
• MS COCOのようなデータセットへのスケーリングにおいて、従来のキャプセルネットワークの計算的・表現的限界を克服すること。
• ルーティングにおける剛体な空間的制約を排除することで、キャプセルが複雑なオブジェクトのポーズや変形をモデル化できるようにすること。
• 多数のオブジェクトクラスやインスタンスを処理できるメモリ効率の良いキャプセルアーキテクチャを設計すること。
• キャプセルネットワークが1段階検出ベンチマークでCNNと同等の性能を達成できることを実証すること。

提案手法

• 分類クラスに依存しないインスタンス化パラメータと、クラス固有の存在およびアイデンティティを分離することで、次元削減とスケーラビリティを実現する新しいキャプセル構造であるSplitCapsを提案。
• 繰り返しループを必要とせず、子キャプセルの射影間の一致度を最大化する、Squeeze-and-Excitationにインspiredされた動的ルーティングアルゴリズムであるSEルーティングを設計。
• 親キャプセルで可変的なサンプリングを採用し、子キャプセルに適応的に注目することで、固定された局所的受容野を排除し、幾何的柔軟性を向上。
• マスク予測のための再構成ヘッドを備えたキャプセルベースのヘッドを採用し、潜在的な1ショットインスタンスセグメンテーションを可能に。
• キャプセルベクトル表現を用いてポーズ、変形、色相、テクスチャを符号化することで、部分と全体の関係モデリングを強化。

実験結果

リサーチクエスチョン

• RQ1 キャプセルネットワークは、MS COCOのような大規模オブジェクト検出タスクにスケーリング可能か？
• RQ2 キャプセルベースのアーキテクチャは、誤検出を低減しつつ、CNNベースの1段階検出器と同等またはそれ以上の精度を達成できるか？
• RQ3 可変ルーティング機構は、異常なオブジェクトポーズや視点への一般化を向上させられるか？
• RQ4 グローバルルーティングによる計算の爆発を回避しつつ、表現力を維持できるか？
• RQ5 SplitCapsのような新規なキャプセル構造は、従来の次元の爆発が大規模学習を妨げていた問題を解消できるか？

主な発見

• DeformCapsは、MS COCOにおけるオブジェクト検出性能を、最先端の1段階CNNベースの検出器と同等に達成した。
• CenterNetのようなベースライン手法と比較して、顕著に少ない誤検出を生じさせた。
• 定性的な結果から、異常なオブジェクトポーズや視点への一般化性能が向上しており、キャプセルのポーズ耐性という理論的利点を裏付けた。
• SplitCapsはキャプセル表現の次元を効果的に削減し、キャプセルネットワークにおける大規模データセットでの学習を初めて可能にした。
• SEルーティングは繰り返しループを必要とせず、効率的な動的ルーティングを実現し、計算効率を向上させつつルーティングの一致度を維持した。
• 本研究で提示されたフレームワークは、文献上初のキャプセルベースのオブジェクト検出システムであり、ビジョン分野におけるスケーラブルなキャプセル応用への基盤的ステップを示した。