[論文レビュー] Enhanced Training of Query-Based Object Detection via Selective Query Recollection

Fangyi Chen, Han Zhang+4 more|arXiv (Cornell University)|Dec 15, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、段階的推論の途中段階で得られたクエリを、後続の段階に選択的に再利用する訓練戦略である選択的クエリ再想起（SQR）を提案する。これにより、連鎖的な誤りの発生を軽減し、後続の段階における訓練の強化が可能となり、推論速度に影響を与えることなく、Adamixer、DAB-DETR、Deformable-DETRなど複数のモデルでAPが1.4–2.8向上する。

ABSTRACT

This paper investigates a phenomenon where query-based object detectors mispredict at the last decoding stage while predicting correctly at an intermediate stage. We review the training process and attribute the overlooked phenomenon to two limitations: lack of training emphasis and cascading errors from decoding sequence. We design and present Selective Query Recollection (SQR), a simple and effective training strategy for query-based object detectors. It cumulatively collects intermediate queries as decoding stages go deeper and selectively forwards the queries to the downstream stages aside from the sequential structure. Such-wise, SQR places training emphasis on later stages and allows later stages to work with intermediate queries from earlier stages directly. SQR can be easily plugged into various query-based object detectors and significantly enhances their performance while leaving the inference pipeline unchanged. As a result, we apply SQR on Adamixer, DAB-DETR, and Deformable-DETR across various settings (backbone, number of queries, schedule) and consistently brings 1.4-2.8 AP improvement.

研究の動機と目的

• クエリベースのオブジェクト検出器が、中間段階では正しく予測しているにもかかわらず、最終段階で誤って予測してしまう理由を解明すること。
• 二つの主要な制限要因を同定すること：後続の段階における訓練の強化が不十分であること、および段階的な精錬による誤差の連鎖的拡大。
• 後続段階における監視を強化し、誤差の伝搬を低減する訓練戦略の設計。
• 推論パイプラインを変更せずに性能を向上できるプラグイン型ソリューションの開発。
• 密度の高いクエリ再想起と再帰を用いたモデル圧縮の検討を通じて、段階間でのパラメータ共有を可能にする。

提案手法

• SQRは、訓練の進行に従い、すべての以前の段階からの中間クエリを累積的に収集する。
• 各下流段階に、直前の二つの段階からのクエリのみを選択的に転送することで、フィボナッチに類似た監視の成長パターンを形成する。
• 各段階は、元のクエリと再想起されたクエリを別々に処理し、独立したアテンションと損失計算を実行する。
• 推論時には、元の段階的推論構造を維持するため、速度への影響がない。
• モデル圧縮のため、SQRはDQRRに拡張され、最終段階の出力を訓練中に再帰的に入力としてフィードバックすることで、繰り返し利用する。
• 最終モデルでは、推論時に1つの共有段階を用いることで、モデルサイズを70%削減しながら高い精度を維持する。

Figure 1 : The inference speed and AP for various networks on the MS-COCO val set. The red stars are the results trained with SQR. The blue circles are the results of baselines without SQR. SQR enhances the training of query-based object detectors while leaving the inference pipeline unchanged.

実験結果

リサーチクエスチョン

• RQ1 クエリベースのオブジェクト検出器が、中間段階では正しく予測しているにもかかわらず、最終段階で性能が低下する理由は何か？
• RQ2 段階的推論構造が、訓練中に誤差の連鎖的拡大を引き起こす要因となるのはなぜか？
• RQ3 推論プロセスを変更せずに、後続段階における監視を強化することで訓練を改善できるか？
• RQ4 性能と計算コストのバランスを考慮した場合、どの中間クエリを再想起するのが最適な戦略か？
• RQ5 密度の高いクエリ再想起によって、段階間でのパラメータ共有が可能となり、モデルサイズを削減できるか？

主な発見

• SQRは、Adamixer、DAB-DETR、Deformable-DETRを含む複数のクエリベース検出器で、さまざまな訓練設定においてAPを1.4–2.8ポイント向上させる。
• 100クエリ、12エポックのAdamixer-R50では、SQRによりAPが42.5から44.4に上昇（+1.9）。
• 7段階のデコーダーを用いた場合、Adamixer-R50のAPは45.1から48.9に上昇（+3.8）、Adamixer-R101は47.6から49.8に上昇（+2.2）。
• SQRは、バックボーン（R50、R101、Swin-B）、クエリ数（100–300）、訓練スケジュール（12e、36e、50e）の異なる設定において一貫した向上を達成する。
• DQRRバージョンは、密度の高いクエリ再想起と再帰を用い、モデルサイズを70%削減（1.6GB → 513MB）し、わずか5つの共有段階で42.8 APを達成。元の6段階モデル（42.5 AP）を上回る性能を発揮する。
• 直前の二つの段階からのクエリのみを再想起する選択的再想起戦略は、全再想起に比べて性能が高く、計算コストは半減する。

Figure 2 : Are query-based object detectors always enhancing predictions stage-by-stage? The traffic light at stage 1 gets a confident score of 0.41, while from stage 2 to 5 the confidence gradually decreases to 0.21 (Upper); the remote at stage 3 was wrongly classified as a cell phone, and from sta