[논문 리뷰] Background Mixup Data Augmentation for Hand and Object-in-Contact Detection

Koya Tango, Takehiko Ohkawa외 2명|arXiv (Cornell University)|2022. 02. 28.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 손과 접촉 중인 물체 탐지 성능을 햖스하게 향상시키기 위해 손과 물체가 포함되지 않은 배경 이미지와 훈련 이미지를 혼합하는 데이터 증강 방법인 Background Mixup을 제안한다. 이는 전통적인 Mixup으로 인해 발생하는 부작용적인 편향을 줄이고, 감독 및 준감독 학습에서 일반화 능력을 향상시키며, 잘못된 양성 예측을 감소시킨다. Biomedical, 공장, 요리 데이터셋에서 표준 Mixup보다 mAP 및 정밀도 지표에서 뛰어난 성능을 보였다.

ABSTRACT

Detecting the positions of human hands and objects-in-contact (hand-object detection) in each video frame is vital for understanding human activities from videos. For training an object detector, a method called Mixup, which overlays two training images to mitigate data bias, has been empirically shown to be effective for data augmentation. However, in hand-object detection, mixing two hand-manipulation images produces unintended biases, e.g., the concentration of hands and objects in a specific region degrades the ability of the hand-object detector to identify object boundaries. We propose a data-augmentation method called Background Mixup that leverages data-mixing regularization while reducing the unintended effects in hand-object detection. Instead of mixing two images where a hand and an object in contact appear, we mix a target training image with background images without hands and objects-in-contact extracted from external image sources, and use the mixed images for training the detector. Our experiments demonstrated that the proposed method can effectively reduce false positives and improve the performance of hand-object detection in both supervised and semi-supervised learning settings.

연구 동기 및 목표

• 의료나 공장 환경과 같은 소규모 도메인 특화 데이터셋에서 손-물체 탐지기의 낮은 일반화 능력을 해결하기 위해.
• 표준 Mixup로 인해 발생하는 부작용적인 편향(예: 접촉 상태의 모호성, 겹치는 전경으로 인한 물체 경계 혼동)을 완화하기 위해.
• 전경 의미를 유지하면서 배경 다양성을 증가시킴으로써, 데이터가 적은 환경에서 탐지기 성능을 향상시키기 위해.
• Mixup가 객체 탐지에서 알려진 단점인 잘못된 양성 예측을 줄이기 위해.
• 감독 및 준감독 학습 모두에서 손-물체 탐지 성능을 향상시키기 위해.

제안 방법

• Background Mixup는 표준 이미지 혼합 방식을 대체로, 손과 물체가 포함되지 않은 외부 소스의 배경 이미지와 대상 이미지를 혼합한다.
• 이 방법은 대상 이미지와 배경 이미지를 가중치 기반 조합으로 혼합하며, 혼합 결과물에서 전경(손과 물체)은 그대로 유지된다.
• 혼합된 이미지는 손-물체 탐지기를 훈련하는 데 사용되며, 데이터 혼합 정규화를 활용해 일반화 능력을 향상시킨다.
• 이 방법은 두 전경이 풍부한 이미지를 혼합하는 것을 피함으로써, 손과 물체가 특정 영역에 집중되는 것을 방지한다.
• 감독 및 준감독 학습 환경 모두에 적용되며, 다양한 데이터 샘플링 전략을 사용하는 BG-Mix K 및 BG-Mix D 버전이 존재한다.
• 표준 객체 탐지 손실 함수를 사용해 모델을 훈련하며, 증강된 데이터를 훈련 중에 활용해 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 배경 전용 이미지를 사용한 데이터 증강이 소규모 도메인 특화 데이터셋에서 손-물체 탐지 성능을 향상시키는가?
• RQ2 Background Mixup는 표준 Mixup에 비해 손-물체 탐지에서 잘못된 양성 예측을 줄이는가?
• RQ3 준감독 학습 환경에서 Background Mixup는 Mixup 및 기타 혼합 기반 증강 기법과 비교해 어떻게 성능을 내는가?
• RQ4 Background Mixup는 전경 의미를 유지하면서 배경 다양성을 증가시켜 탐지기의 일반화 능력을 향상시키는가?
• RQ5 Background Mixup는 잘못된 양성 예측으로 인한 정밀도 저하를 줄이면서도 mAP를 유지하거나 향상시키는가?

주요 결과

• 준감독 학습에서 1%의 레이블 데이터를 사용할 때, Background Mixup는 의료 데이터셋에서 78.6 ± 0.1의 최고 mAP를 기록했고, 요리 데이터셋에서는 68.9 ± 0.2를 기록했다.
• 의료 데이터셋에서 BG-Mix K는 손 탐지 정밀도 89.1 ± 2.5%를 달성했으며, 이는 Mixup K(75.6 ± 5.3%)와 Mixup(76.8 ± 1.8%)를 크게 앞서며 잘못된 양성 예측이 적음을 시사한다.
• 준감독 학습 환경에서 BG-Mix K는 기준 모델 UB-Teacher의 mAP를 1.3점 향상시켜 77.3 → 78.6로 향상시키며 높은 정밀도를 유지했다.
• 요리 데이터셋에서 BG-Mix D는 mAP를 68.9 ± 0.2로 향상시켜 Mixup(68.5 ± 0.1)과 Mixup K(68.5 ± 0.1)를 모두 앞섰다. 이는 감독 학습 성능 저하가 있었음에도 불구하고 성과였다.
• 정성적 결과 분석에서 BG-Mix K는 Mixup 및 Mixup K에 비해 노이즈가 많고 잘못된 위치에 배치된 바운딩 박스가 적었으며, 예측 결과가 진짜 값과 더 가까이 맞춰져 있었다.
• Background Mixup는 mAP를 향상시키면서도 잘못된 양성 예측 수를 줄여, 실제 적용 환경에서 표준 Mixup에 비해 뚜렷한 이점을 보였다.