[논문 리뷰] Segmenting Transparent Objects in the Wild

Enze Xie, Wenjia Wang외 4명|arXiv (Cornell University)|2020. 03. 31.

Advanced Neural Network Applications참고 문헌 33인용 수 10

한 줄 요약

이 논문은 투명 물체 세분화를 위한 대규모 실세계 데이터셋인 Trans10K과, 물체 경계를 고려한 딥러닝 방법인 TransLab을 소개한다. Trans10K는 수작업으로 레이블링된 10,428장의 이미지를 포함하며, TransLab은 경계 정보를 활용해 세분화 성능을 향상시킨다. TransLab은 Trans10K에서 20개의 최신 기술보다 뛰어난 성능을 보이며, 딥러닝의 발전에도 불구하고 자연 환경에서의 투명 물체 세분화는 여전히 대부분 해결되지 않은 과제임을 입증한다.

ABSTRACT

Transparent objects such as windows and bottles made by glass widely exist in the real world. Segmenting transparent objects is challenging because these objects have diverse appearance inherited from the image background, making them had similar appearance with their surroundings. Besides the technical difficulty of this task, only a few previous datasets were specially designed and collected to explore this task and most of the existing datasets have major drawbacks. They either possess limited sample size such as merely a thousand of images without manual annotations, or they generate all images by using computer graphics method (i.e. not real image). To address this important problem, this work proposes a large-scale dataset for transparent object segmentation, named Trans10K, consisting of 10,428 images of real scenarios with carefully manual annotations, which are 10 times larger than the existing datasets. The transparent objects in Trans10K are extremely challenging due to high diversity in scale, viewpoint and occlusion as shown in Fig. 1. To evaluate the effectiveness of Trans10K, we propose a novel boundary-aware segmentation method, termed TransLab, which exploits boundary as the clue to improve segmentation of transparent objects. Extensive experiments and ablation studies demonstrate the effectiveness of Trans10K and validate the practicality of learning object boundary in TransLab. For example, TransLab significantly outperforms 20 recent object segmentation methods based on deep learning, showing that this task is largely unsolved. We believe that both Trans10K and TransLab have important contributions to both the academia and industry, facilitating future researches and applications.

연구 동기 및 목표

• 투명 물체 세분화를 위한 대규모 실세계 데이터셋의 부족 문제를 해결하여 강건한 모델을 훈련하고 평가하는 데 기여하고자 한다.
• 기존 데이터셋의 한계, 예를 들어 합성 이미지 생성, 작은 샘플 수, 수작업 레이블링 부족 등의 문제를 해결하고자 한다.
• 배경 유산, 가림, 다양한 투명도로 인한 시각적 모호성으로 인해 투명 물체를 효과적으로 처리할 수 있는 세분화 방법을 개발하고자 한다.
• 비구속 환경에서 투명 물체의 세분화 성능 향상에 있어 물체 경계의 역할을 탐구하고자 한다.
• 스케일, 시점, 가림, 투명도의 다양성을 포함한 다양한 과제를 가진 실세계 데이터를 사용하여 투명 물체 세분화의 새로운 벤치마크를 수립하고자 한다.

제안 방법

• 투명 물체에 대한 수작업 레이블링이 적용된 실세계 이미지 10,428장으로 구성된 대규모 데이터셋인 Trans10K를 제안한다. 이는 '사물'(예: botteles)과 '소재'(예: 창문)를 모두 포함한다.
• 경계 신호를 활용해 특징 학습을 향상시키기 위해 전용 경계 스트림과 경계 주의 메커니즘을 포함한 새로운 경계 인식 세분화 네트워크인 TransLab을 설계한다.
• Trans10K 데이터셋에서 TransLab을 엔드 투 엔드로 훈련하며, 다중 척도 감시와 경계 인식 손실 함수를 사용해 마스크 품질을 향상시킨다.
• 세분화 스트림과 경계 예측 스트림으로 구성된 이중 브랜치 아키텍처를 사용하며, 주의 메커니즘을 통한 특징 융합을 통해 예측을 정밀하게 조정한다.
• Trans10K 내 객체 카테고리와 환경 유형의 장꼬리 분포를 다루기 위해 데이터 증강 및 클래스 균형 전략을 적용한다.
• 검증 및 테스트 세트의 쉬운 부분과 어려운 부분에서 성능을 평가하여 모델의 약점을 드러내고 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 대규모 실세계 벤치마크에서 평가할 때, 기존 딥러닝 기반 세분화 방법의 성능이 실세계 투명 물체 세분화에 어떻게 일반화되는가?
• RQ2 물체 경계를 명시적으로 모델링할 경우, 높은 시각적 모호성을 가지는 투명 물체의 세분화 정확도는 어느 정도 향상되는가?
• RQ3 실세계 환경에서 스케일, 시점, 가림, 투명도의 다양성이 세분화 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ4 TransLab과 같은 경계 인식 아키텍처가 도전적인 실세계 데이터셋에서 최신 기술보다 뛰어난 성능을 달성할 수 있는가?
• RQ5 Trans10K에서 훈련된 모델은 훈련 분포 외부의 외부 데이터셋 및 실세계 이미지에 대해 얼마나 잘 일반화되는가?

주요 결과

• TransLab은 Trans10K 벤치마크에서 최신 기술을 압도적으로 뛰어넘는 성능을 보이며, 어려운 테스트 세트에서 mIoU 기준으로 20개의 최근 딥러닝 기반 세분화 방법보다 뛰어난 성능을 기록한다.
• TransLab의 경계 주의 메커니즘은 무늬가 약하거나 투명도가 높은 영역에서 더 정확한 세분화 마스크를 생성하며, 기준 모델이 실패하는 영역에서 특히 유의미한 향상을 보인다.
• Trans10K는 13개의 다양한 환경과 20개의 객체 카테고리에서 구성된 10,428장의 실사진을 포함하며, '소재' 객체는 8,291개, '사물' 객체는 1,544개로 이전 데이터셋보다 10배 이상 크다.
• 검증 및 테스트 세트의 어려운 부분은 기존 모델의 심각한 한계를 드러내며, 자연 환경에서의 투명 물체 세분화 문제가 여전히 대부분 해결되지 않았음을 확인한다.
• TransLab은 YouTube, TikTok, eBay, 스마트폰 촬영 이미지 등 외부 데이터에 대해 잘 일반화되며, 분포 이탈에 대한 강건성을 입증한다.
• 실패 사례 분석을 통해 극도로 투명한 물체, 강한 반사, 가림, 반투명 물체의 인접 배치 등은 현재의 모델, 심지어 경계 지도가 있는 경우에도 여전히 도전 과제로 남아 있음을 확인한다.