[論文レビュー] Interpolation-based semi-supervised learning for object detection

Jisoo Jeong, Vikas Verma+3 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Neural Network Applications参考文献 36被引用数 13

ひとこと要約

本稿では、物体検出における補間正則化を適用する課題に取り組むために、補間されたサンプルをタイプI（両方のパッチが物体から）とタイプII（一方のパッチが背景から）に分類し、それぞれに特化した損失関数を適用する補間ベースの半教師あり学習（ISD）を提案する。ISDはPASCAL VOCおよびCOCOベンチマークで最先端の性能を達成し、半教師あり設定下でベースライン手法よりもmAPを最大2.1%向上させ、教師あり検出精度を顕著に向上させる。

ABSTRACT

Despite the data labeling cost for the object detection tasks being substantially more than that of the classification tasks, semi-supervised learning methods for object detection have not been studied much. In this paper, we propose an Interpolation-based Semi-supervised learning method for object Detection (ISD), which considers and solves the problems caused by applying conventional Interpolation Regularization (IR) directly to object detection. We divide the output of the model into two types according to the objectness scores of both original patches that are mixed in IR. Then, we apply a separate loss suitable for each type in an unsupervised manner. The proposed losses dramatically improve the performance of semi-supervised learning as well as supervised learning. In the supervised learning setting, our method improves the baseline methods by a significant margin. In the semi-supervised learning setting, our algorithm improves the performance on a benchmark dataset (PASCAL VOC and MSCOCO) in a benchmark architecture (SSD).

研究の動機と目的

• 物体検出に補間正則化を直接適用する際、背景パッチを含む混合画像がノイズを引き起こし性能を低下させるという課題に対処すること。
• 元のパッチのオブジェクトネススコアに基づいて混合サンプルを区別する、新たな半教師あり学習フレームワークを提案すること。
• 一般化性能とロバストネスを向上させるために、タイプ別損失関数（タイプIおよびタイプII）を設計すること。
• ISDがPASCAL VOCやCOCOといった標準ベンチマークで、既存手法よりも顕著に検出性能を向上させることを実証すること。
• CSDなどの既存の半教師あり手法と効果的に統合でき、タイプに配慮した正則化によって性能を向上させること。

提案手法

• 補間された混合画像を、元のパッチのオブジェクトネススコアに基づいて二つのタイプに分類する：タイプI（両方のパッチが物体クラスから）とタイプII（一方のパッチが背景クラスから）。
• タイプIサンプルに対しては、標準的な補間ベースの分類および局所化損失を適用し、混合入力全体にわたり線形な出力挙動を保証する。
• タイプIIサンプルに対しては、混合画像をフォアグラウンドオブジェクトとして扱うように変更された損失を適用し、背景ノイズや不規則なテクスチャに対してロバスト性を高める。
• 混合係数λは、対称的なベータ分布Beta(α, α)からサンプリングされ、正則化の最適化に合わせてαを調整する。
• ISD損失はSSD検出器に統合可能であり、CSDのような既存の半教師あり学習フレームワークとも組み合わせて性能をさらに向上させることができる。
• 本手法はSSDのような単段階検出器と互換性があるが、RoIの不一致問題のため、二段階検出器への拡張は今後の研究課題である。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトと背景のパッチを混合する際、補間正則化を直接適用すると、物体検出性能がどのように低下するのか？
• RQ2 元のパッチのオブジェクトネススコアに基づいて混合サンプルを異なるタイプに分けることで、半教師あり物体検出における正則化をより効果的にできるか？
• RQ3 背景領域を含む補間サンプルにおいて、一般化性能を向上させるために最も効果的なタイプ別損失関数は何か？
• RQ4 ISDは、ベースライン手法と比較して、教師ありおよび半教師あり物体検出設定において、どの程度性能を向上させられるか？
• RQ5 混合係数の分布選択（Beta(α, α)）が、ISDにおけるモデルの一般化性能とロバストネスにどのように影響するか？

主な発見

• VOC07(L)+VOC12(U)の学習データを用いて、PASCAL VOC07テストセットにおいて、ベースラインのCSD手法のmAPを72.3%から74.4%まで向上させた。
• タイプII分類損失のみを適用しても、mAPが1.9ポイント（72.3%から74.0%）向上し、その大きな影響を示している。
• ベータ分布のパラメータαを100に設定した場合が最良の性能を示し、タイプIおよびタイプIIの損失を組み合わせた際のmAPは74.4%であった。
• アブレーションスタディの結果、タイプII分類損失が局所化損失よりも性能向上に寄与していることが確認され、背景ノイズの処理における重要性が浮き彫りになった。
• CSDフレームワークと組み合わせたISDは、PASCAL VOCおよびCOCOベンチマークで、半教師あり物体検出の最先端性能を達成した。
• ベースのSSDと同等の推論時間とモデルサイズを維持しており、高いトレーニングメモリ使用量を除けば、実世界の展開において実用的である。