[論文レビュー] Recursively Refined R-CNN: Instance Segmentation with Self-RoI Rebalancing

Leonardo Rossi, Akbar Karimi+1 more|arXiv (Cornell University)|Apr 3, 2021

Advanced Neural Network Applications参考文献 28被引用数 5

ひとこと要約

本論文は、IoUしきい値ごとの領域提案のバランスを再採样する再帰的リサンプリング機構を用いる1つの検出器アーキテクチャ、R3-CNNを提案する。これにより、複数段階の検出器を用いないまま、指数的消失正例問題（EVPS）を克服できる。この手法は、HTCなどのモデルよりも顕著に少ないパラメータでCOCO 2017 minivalで最先端の性能を達成し、ネットワーク重みに埋め込まれたループ機構により推論効率を維持しながら、多様なバックボーンアーキテクチャにわたって精度を向上させる。

ABSTRACT

Within the field of instance segmentation, most of the state-of-the-art deep learning networks rely nowadays on cascade architectures, where multiple object detectors are trained sequentially, re-sampling the ground truth at each step. This offers a solution to the problem of exponentially vanishing positive samples. However, it also translates into an increase in network complexity in terms of the number of parameters. To address this issue, we propose Recursively Refined R-CNN (R^3-CNN) which avoids duplicates by introducing a loop mechanism instead. At the same time, it achieves a quality boost using a recursive re-sampling technique, where a specific IoU quality is utilized in each recursion to eventually equally cover the positive spectrum. Our experiments highlight the specific encoding of the loop mechanism in the weights, requiring its usage at inference time. The R^3-CNN architecture is able to surpass the recently proposed HTC model, while reducing the number of parameters significantly. Experiments on COCO minival 2017 dataset show performance boost independently from the utilized baseline model. The code is available online at https://github.com/IMPLabUniPr/mmdetection/tree/r3_cnn.

研究の動機と目的

• 高IoUしきい値で品質の良い提案が不足するという、インスタンスセグメンテーションにおける指数的消失正例問題（EVPS）に対処すること。
• 複数段階のカスケード検出器に代わる1つの軽量検出器アーキテクチャを採用することで、モデルの複雑さを低減すること。
• HTCなどの最先端モデルと同等の性能を達成しながら、パラメータ数を顕著に削減すること。
• R3-CNNを複数の既存アーキテクチャに統合することで汎用性を示し、一貫した性能向上を実証すること。

提案手法

• 各再帰で事前に定義されたIoUしきい値で新しい領域提案（RoIs）を生成する再帰的リサンプリング機構を導入し、IoUスケール全体にわたる正例のバランスを取る。
• ネットワーク重みに埋め込まれたループ機構を採用し、トレーニングおよび推論時に提案の再帰的精錬を可能にする。
• 各オブジェクトタイプごとに複数のヘッドを備えた1つの検出器を用い、各ヘッドは特定のIoU品質の提案で訓練されるため、提案品質レベルごとのバランスの取れた学習が保証される。
• 各再帰ループで増加するIoUしきい値で提案を再サンプリングする自己RoIバランス調整戦略を採用し、段階的に検出品質を向上させる。
• 各ループが異なるIoUしきい値に対応するマルチループ戦略でモデルをトレーニングし、最終ループで最高品質の予測を出力する。
• 固定されたループ数でエンドツーエンドのトレーニングと推論を可能にし、ループ数は精度、速度、モデルサイズのトレードオフを制御するハイパーパrameterである。

実験結果

リサーチクエスチョン

• RQ1 複数段階のカスケードネットワークに依存せずに、1つの検出器アーキテクチャが指数的消失正例問題を効果的に解消できるか。
• RQ2 増加するIoUしきい値でRoIを再帰的にリサンプリングすることで、正例のバランスと全体的なモデル性能にどのような影響を与えるか。
• RQ3 パラメータ数を増やさずに、多様なバックボーンアーキテクチャにわたってR3-CNNがどれほど性能向上を達成できるか。
• RQ4 精度、推論速度、モデル複雑度のバランスをとる最適な再帰的ループ数は何か。

主な発見

• R3-CNNは3ループ、1ヘッド/タイプでCOCO minival 2017で40.9 APを達成し、Mask R-CNN（38.2 AP）を上回り、HTCに近い性能を示しながらも、顕著に少ないパラメータ数を実現した。
• 3ループ、1ヘッド/タイプのモデル（R3-CNN-L）はCOCOで44.8 AP、43.6 APマスク、56.1 APlを達成し、HTCを多くの指標で上回り、アブレーションスタディのすべてのベースラインを上回った。
• GC-Net、DCN、GRoIEといった最先端モデルにR3-CNNを統合すると一貫して性能向上が見られ、R3-CNN-L+GC-Netは44.3 AP、43.5 APマスクを達成し、HTC+GC-NetのAPおよびAPmを上回った。
• ループ数を増やすことで得られる性能向上は3ループで飽和し、4または5ループではほとんど向上が得られず、3回を超える再帰ではリターンが減少することが示された。
• アブレーションスタディにより、再帰的リサンプリング機構が性能向上の主因であることが確認され、これを除去するとMask R-CNNレベルの性能にまで低下した。
• 推論時においてもループ機構が不可欠であることが判明した。モデルの重みには再帰的構造が埋め込まれており、トレーニング時に使用したループ数に依存して推論が行われる。