[논문 리뷰] FakeMix Augmentation Improves Transparent Object Detection

Yang Cao, Zhengqiang Zhang외 5명|arXiv (Cornell University)|2021. 03. 24.

Visual Attention and Saliency Detection참고 문헌 30인용 수 8

한 줄 요약

이 논문은 투명 물체 검출에서 경계 관련 데이터 분포를 균형 잡고 가짜 경계를 줄이기 위해 실제 투명 물체 경계를 다른 이미지의 배경에 합성함으로써 현실적인 가짜 경계를 생성하는 콘텐츠에 의존하는 데이터 증강 방법인 FakeMix를 제안한다. AdaptiveASPP를 결합하여 동적 다중 스케일 및 크로스 모달리티 특징 학습을 가능하게 하여, 투명 물체 검출 벤치마크에서 최고 성능을 달성하고, 거울 및 유리 검출과 같은 관련 작업으로의 일반화 능력도 뛰어나다.

ABSTRACT

Detecting transparent objects in natural scenes is challenging due to the low contrast in texture, brightness and colors. Recent deep-learning-based works reveal that it is effective to leverage boundaries for transparent object detection (TOD). However, these methods usually encounter boundary-related imbalance problem, leading to limited generation capability. Detailly, a kind of boundaries in the background, which share the same characteristics with boundaries of transparent objects but have much smaller amounts, usually hurt the performance. To conquer the boundary-related imbalance problem, we propose a novel content-dependent data augmentation method termed FakeMix. Considering collecting these trouble-maker boundaries in the background is hard without corresponding annotations, we elaborately generate them by appending the boundaries of transparent objects from other samples into the current image during training, which adjusts the data space and improves the generalization of the models. Further, we present AdaptiveASPP, an enhanced version of ASPP, that can capture multi-scale and cross-modality features dynamically. Extensive experiments demonstrate that our methods clearly outperform the state-of-the-art methods. We also show that our approach can also transfer well on related tasks, in which the model meets similar troubles, such as mirror detection, glass detection, and camouflaged object detection. Code will be made publicly available.

연구 동기 및 목표

• 투명 물체의 경계 특성과 유사한 배경 영역으로 인해 발생하는 가짜 양성 결과를 유발하는 경계 관련 클래스 불균형 문제를 해결한다.
• 기존의 콘텐츠 무관 데이터 증강 방법이 진짜 경계와 가짜 경계 간의 구분 능력을 향상시키지 못하는 한계를 극복한다.
• 학습 데이터 내 T-경계(T-boundaries, 투명 물체 경계)와 가짜 T-경계(Fake T-boundaries, 유사한 외관의 배경 경계)의 분포를 균형 잡음으로써 모델의 일반화 능력을 향상시킨다.
• 해당 영역에 대한 수동 레이블링이 필요 없이 새로운 효율적인 방법으로 가짜 T-경계를 합성한다.
• 제안된 방법이 거울 검출, 유리 검출, 그리고 가림된 물체 검출과 같은 관련 작업으로의 이식 가능성(transferability)을 입증한다.

제안 방법

• 학습 중에 한 이미지의 투명 물체 경계 영역을 다른 이미지의 배경에 융합함으로써, 콘텐츠에 의존하는 데이터 증강 기법인 FakeMix를 제안한다.
• T-경계와 가짜 T-경계의 시각적 유사성—특히 양쪽 면에 대칭적인 외관과 눈에 띄는 굴절/반사 효과—을 활용하면서, 경계에 둘러싸인 콘텐츠의 차이점을 고려한다.
• 기타 샘플의 투명 물체 경계로 배경 영역을 대체함으로써 가짜 T-경계를 합성함으로써, 이러한 도전적인 케이스의 비율을 학습 중에 증가시킨다.
• 다중 스케일 및 크로스 모달리티 특징(세그멘테이션 및 경계 예측)을 동적으로 주시하고 융합하는 개선된 아트로우드 공간 히에라르키컬 풀링 모듈인 AdaptiveASPP를 설계한다.
• FakeMix와 AdaptiveASPP를 통합된 네트워크(FANet)에 통합하여 경계 구분 능력 향상과 특징 표현 향상을 동시에 달성한다.
• 표준 검출 및 세그멘테이션 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련하며, 각 전방향 프로세스 동안 데이터 증강을 적용한다.

실험 결과

연구 질문

• RQ1 콘텐츠에 의존하는 데이터 증강이 배경 영역이 투명 물체 경계와 유사하게 보이는 경우 발생하는 가짜 양성 결과를 효과적으로 줄일 수 있는가?
• RQ2 다른 샘플 간 블렌딩을 통해 가짜 T-경계를 합성함으로써, 모델이 진짜 투명 물체 경계와 유사한 외관의 배경 경계를 더 잘 구분할 수 있는가?
• RQ3 적응형 다중 스케일 및 크로스 모달리티 특징 학습의 통합이 낮은 무늬 및 색상 대비를 보이는 투명 물체 검출 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법이 거울 검출 및 유리 검출과 같은 관련 검출 작업으로 얼마나 잘 일반화되는가?
• RQ5 CutMix 및 Mixup와 같은 콘텐츠 무관 증강 방법과 비교해 FakeMix는 경계 관련 클래스 불균형 문제를 어떻게 다루는가?

주요 결과

• FakeMix는 학습 중에 현실적인 가짜 T-경계에 더 많이 노출되게 하여 경계 구분 능력을 향상시킴으로써 가짜 양성 검출을 크게 줄였다.
• 제안된 FANet 모델은 COCT, TOT, TOT-10K 세 가지 투명 물체 검출 벤치마크에서 기존 방법들인 TransLab 및 SGN을 능가하는 최고 성능을 달성했다.
• AdaptiveASPP는 다중 스케일 및 크로스 모달리티 특징을 동적으로 융합함으로써 특징 표현을 향상시켜 검출 정확도와 강건성을 높였다.
• FakeMix와 AdaptiveASPP의 조합은 COCT 데이터셋에서 기준 모델 대비 mAP 성능 향상이 최대 5.2%에 이르는 상당한 성능 향상을 이끌어냈다.
• 이 방법은 관련 작업으로의 일반화 능력이 뛰어나며, 거울 검출(3.8% mAP 향상) 및 유리 검출(4.1% mAP 향상)에서 새로운 최고 성능을 기록하여 강력한 이식 가능성(transferability)을 입증했다.
• 절단 실험(ablation studies) 결과, FakeMix와 AdaptiveASPP 모두 필수적인 구성 요소로 작용하며, 전체 성능 향상에 각각 기여하고 있음을 확인했다.