[論文レビュー] Background Mixup Data Augmentation for Hand and Object-in-Contact Detection

Koya Tango, Takehiko Ohkawa+2 more|arXiv (Cornell University)|Feb 28, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、手および接触中の物体の検出性能を向上させるために、手や物体を含まない背景画像と訓練画像を混合するデータ拡張手法「Background Mixup」を提案する。これにより、従来のMixupが引き起こす意図しないバイアスが軽減され、教師ありおよび半教師あり学習の両方で検出器の汎化性能が向上し、誤検出が減少する。生体医療、工場、調理のデータセットにおいて、mAPおよび精度の指標で標準的なMixupを上回る性能を発揮した。

ABSTRACT

Detecting the positions of human hands and objects-in-contact (hand-object detection) in each video frame is vital for understanding human activities from videos. For training an object detector, a method called Mixup, which overlays two training images to mitigate data bias, has been empirically shown to be effective for data augmentation. However, in hand-object detection, mixing two hand-manipulation images produces unintended biases, e.g., the concentration of hands and objects in a specific region degrades the ability of the hand-object detector to identify object boundaries. We propose a data-augmentation method called Background Mixup that leverages data-mixing regularization while reducing the unintended effects in hand-object detection. Instead of mixing two images where a hand and an object in contact appear, we mix a target training image with background images without hands and objects-in-contact extracted from external image sources, and use the mixed images for training the detector. Our experiments demonstrated that the proposed method can effectively reduce false positives and improve the performance of hand-object detection in both supervised and semi-supervised learning settings.

研究の動機と目的

• 生体医療や工場環境など、小規模でドメイン特化されたデータセットにおける手物体検出器の一般化性能の低さに対処すること。
• 従来のMixupがもたらす意図しないバイアス（重なった前景による接触状態の曖昧さ、物体境界の混乱など）を軽減すること。
• 前景の意味を保持しつつ背景の多様性を高めることで、低データ環境における検出器性能を向上させること。
• Mixupにおける誤検出という既知の欠陥を低減すること。
• 教師ありおよび半教師あり学習の両方において、手物体検出の性能を向上させること。

提案手法

• Background Mixupは、標準的な画像混合を、手や物体を含まない外部ソースの背景画像と組み合わせたものに置き換える。
• 本手法は、ターゲット画像と背景画像の重み付き合成を用い、混合出力において前景（手および物体）をそのままで保持する。
• 混合画像を用いて手物体検出器を学習させ、データ混合正則化を活用して汎化性能を向上させる。
• 2つの前景を多く含む画像の混合を避けることで、手や物体が特定の領域に集中するのを防ぐ。
• 教師ありおよび半教師あり学習の両方の設定に適用可能であり、異なるデータサンプリング戦略を用いるBG-Mix KおよびBG-Mix Dのバリエーションが存在する。
• 標準的な物体検出損失関数を用いてモデルを学習させ、拡張データを訓練中に活用することで耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 背景のみの画像を用いたデータ拡張は、小規模でドメイン特化されたデータセットにおける手物体検出性能を向上させることができるか？
• RQ2 手物体検出において、Background Mixupは標準的なMixupと比較して誤検出を低減するか？
• RQ3 半教師あり学習環境において、Background MixupはMixupおよび他の混合ベースの拡張法と比較してどのように性能を発揮するか？
• RQ4 Background Mixupは、前景の意味を保持しつつ背景の多様性を高めることで、検出器の汎化性能を向上させることができるか？
• RQ5 Background Mixupは、誤検出によって引き起こされる精度の低下を緩和しつつ、mAPを維持または向上させることができるか？

主な発見

• 半教師あり学習において1%のラベル付きデータを用いた生体医療データセットでは、Background Mixupが78.6 ± 0.1の最高mAPを達成した。調理データセットでは68.9 ± 0.2のmAPを記録した。
• 生体医療データセットでは、BG-Mix Kが手検出で89.1 ± 2.5%の精度を達成し、Mixup K（75.6 ± 5.3%）およびMixup（76.8 ± 1.8%）を顕著に上回り、誤検出が少ないことを示した。
• 半教師あり学習において、BG-Mix KはベースラインUB-Teacher（77.3 → 78.6）に対してmAPを1.3ポイント向上させつつ、高い精度を維持した。
• 調理データセットでは、BG-Mix DがmAPを68.9 ± 0.2まで向上させ、Mixup（68.5 ± 0.1）およびMixup K（68.5 ± 0.1）を上回ったが、教師あり学習性能は低下した。
• 定性的な結果から、BG-Mix KはMixupおよびMixup Kと比較して、ノイズが多くてずれたバウンディングボックスが少なく、予測が正解に近づいていた。
• Background MixupはmAPを向上させつつ誤検出の数を減らしたため、実世界の展開環境において標準的なMixupに比して顕著な利点を示した。