[論文レビュー] Image-Level or Object-Level? A Tale of Two Resampling Strategies for Long-Tailed Detection

Nadine Chang, Zhiding Yu+4 more|arXiv (Cornell University)|Apr 12, 2021

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 5

ひとこと要約

本稿では、長尾物体検出における画像レベルおよびオブジェクトレベルのリサンプリング戦略を統合するRIOを提案する。RIOは、繰り返し要因サンプリング（RFS）と、過去のモデル更新から得たRoI特徴を再利用するオブジェクト中心のメモリリプレイ機構を組み合わせる。RIOはLVIS v0.5およびv1.0で最先端性能を達成し、ベースライン手法と比較して検出では希少クラスのAPを36.4%、セグメンテーションでは29.9%向上させつつ、全体の精度を維持する。

ABSTRACT

Training on datasets with long-tailed distributions has been challenging for major recognition tasks such as classification and detection. To deal with this challenge, image resampling is typically introduced as a simple but effective approach. However, we observe that long-tailed detection differs from classification since multiple classes may be present in one image. As a result, image resampling alone is not enough to yield a sufficiently balanced distribution at the object level. We address object-level resampling by introducing an object-centric memory replay strategy based on dynamic, episodic memory banks. Our proposed strategy has two benefits: 1) convenient object-level resampling without significant extra computation, and 2) implicit feature-level augmentation from model updates. We show that image-level and object-level resamplings are both important, and thus unify them with a joint resampling strategy (RIO). Our method outperforms state-of-the-art long-tailed detection and segmentation methods on LVIS v0.5 across various backbones. Code is available at https://github.com/NVlabs/RIO.

研究の動機と目的

• 複数のクラスが1枚の画像に含まれるため、画像レベルのリサンプリングだけではオブジェクトレベルの分布が不均衡になるという長尾物体検出の限界を解消すること。
• トレーニング中に追加のフォワード/バックワードパスを回避する効率的なオブジェクトレベルのリサンプリング戦略を開発すること。
• モデルの更新とオブジェクト提案の時間的多様性を活用し、特徴レベルの暗黙的増強を実現すること。
• 画像レベルとオブジェクトレベルのリサンプリングを統合し、協調的なフレームワークを構築することで、希少クラスの性能を向上させつつ全体の精度を劣化させないこと。
• 長尾検出とインスタンスセグメンテーションに挑戦的なベンチマークであるLVISで最先端の結果を達成すること。

提案手法

• 過去のフォワードパスから得たRoI特徴とボクセル座標を保存・再利用するオブジェクト中心のメモリリプレイフレームワークを導入する。
• 各クラスに特化した動的メモリバンクを維持し、サイズに制限を設けた上で、各トレーニングイテレーションで新しい特徴を追加し、古い特徴を除外する。
• トレーニング中にメモリバンクから希少オブジェクト提案を追加でサンプリングすることで、追加のモデル推論を伴わずにオブジェクトレベルの分布をバランスさせる。
• モデルの更新とデータオーグメンテーションを活用し、特徴レベルの暗黙的増強を実現し、オブジェクト表現の多様性を向上させる。
• 画像レベルでのリサンプリング戦略（RFS）とメモリリプレイ戦略を統合し、画像およびオブジェクトレベルの不均衡を同時に解消する共同リサンプリング戦略（RIO）を構築する。
• 30件未満のトレーニングサンプルを持つクラスを優先する重み付きサンプリングスキームを用い、メモリリプレイの恩恵を最大化する。

実験結果

リサーチクエスチョン

• RQ1 複数クラス画像の影響により画像レベルリサンプリングだけでは不十分な場合、オブジェクトレベルリサンプリングが長尾物体検出性能を向上させ得るか？
• RQ2 シンプルな特徴繰り返しと比較して、オブジェクト中心のメモリリプレイはモデルの汎化性能および性能にどのように影響するか？
• RQ3 希少クラス、共通クラス、頻出クラスのパフォーマンスをバランスさせるために、メモリバンクからサンプリングするオブジェクト提案の最適数は何か？
• RQ4 画像レベルリサンプリングとオブジェクトレベルリサンプリングを効果的に統合することで、長尾検出における相乗効果を得られるか？
• RQ5 モデルの進化とオブジェクト検出における時間的多様性を通じて、メモリリプレイが意味のある特徴レベルの増強を提供するか？

主な発見

• LVIS v0.5の検出タスクにおいて、RIOは希少クラスのAPを36.4%相対的に向上させ、RFSや他のベースラインを大きく上回る。
• LVIS v1.0では、ResNeXt-101を用いて検出タスクで14.8から18.6に、インスタンスセグメンテーションタスクで15.4から18.8に、それぞれ18.6および18.8の向上を達成した。
• メモリバンクからサンプリングするオブジェクト提案の最適数は20であり、希少クラスの向上と共通・頻出クラスの安定性の両立に寄与する。
• メモリリプレイなしにRoI特徴を単純に繰り返すと、一貫した性能低下が生じることから、メモリリプレイによる時間的・特徴的多様性の重要性が示された。
• RIOは希少クラス検出の向上を図りながらも、高い全体APを維持しており、長尾認識における公平性と精度の両立が可能であることを示している。
• 本手法はResNeXt-101を含むさまざまなバックボーンと互換性があり、複数のベンチマークおよび設定で一貫して性能向上を達成する。