[논문 리뷰] Annotation-Free and One-Shot Learning for Instance Segmentation of Homogeneous Object Clusters

Zheng Wu, Ruicheng Chang외 3명|arXiv (Cornell University)|2018. 02. 01.

Advanced Vision and Imaging인용 수 7

한 줄 요약

이 논문은 한 개의 객체 영상에서 합성된 현실적인 훈련 데이터를 이용해 동종 객체 군집(HOCs)에 대한 애너테이션 없는, 원샷 학습 프레임워크를 제안한다. 구조 인식 이미지 생성 및 조명 변환 기법을 사용하여 고품질의 합성 HOC 이미지를 생성함으로써 기준 방법 대비 mAP r @0.5에서 12.0% 향상시키고, 새로운 HOC 데이터셋에서 COCO 미사전학습 모델을 초월하는 성능을 달성한다.

ABSTRACT

We propose a novel approach for instance segmen- tation given an image of homogeneous object clus- ter (HOC). Our learning approach is one-shot be- cause a single video of an object instance is cap- tured and it requires no human annotation. Our in- tuition is that images of homogeneous objects can be effectively synthesized based on structure and illumination priors derived from real images. A novel solver is proposed that iteratively maximizes our structured likelihood to generate realistic im- ages of HOC. Illumination transformation scheme is applied to make the real and synthetic images share the same illumination condition. Extensive experiments and comparisons are performed to ver- ify our method. We build a dataset consisting of pixel-level annotated images of HOC. The dataset and code will be published with the paper.

연구 동기 및 목표

• 밀도 높고 상호 겹치는 동종 객체 군집(HOCs)의 인스턴스 세그멘테이션에 대한 높은 애너테이션 비용 문제를 해결하기 위해.
• 인간 애너테이션 데이터셋이 필요 없이 단일 객체 영상만으로 원샷 학습을 가능하게 하기 위해.
• 구조 레이아웃과 조명 일관성을 유지하는 구조적 정확도를 갖춘 현실적인 픽셀 정밀도의 합성 HOC 이미지를 생성하기 위해.
• 200개의 애너테이션된 HOC 이미지로 구성된 새로운 공개 데이터셋에서 방법의 성능을 평가하기 위해.

제안 방법

• 실제 HOC 이미지에서 구조적 우도 함수를 학습하여 합성 객체의 클러스터 레이아웃 내 배치를 안내한다.
• 합성 및 실제 이미지 간의 조명 일치를 위해 조명 변환 기법을 적용하여 현실감을 향상시킨다.
• 구조적 우도를 최대화하기 위해 반복적으로 최적화하는 새로운 솔버를 제안하여 구조적으로 타당한 합성 HOC 이미지를 생성한다.
• 인간 애너테이션 예제 없이도 합성 데이터에서 인스턴스 세그멘테이션 모델(예: Mask R-CNN)을 훈련시킨다.
• 단일 객체 영상을 입력으로 받아 마스크를 추출하고, 엔드 투 엔드 방식으로 훈련 데이터를 합성한다.
• 일반화 능력과 겹침에 대한 저항성을 향상시키기 위해 구조적 및 조명 사전 지식을 통합한다.

실험 결과

연구 질문

• RQ1 단일 객체 영상으로부터 현실적이고 픽셀 애너테이션된 HOC 이미지를 합성하여 인스턴스 세그멘테이션 모델을 훈련시킬 수 있는가?
• RQ2 무작위 배치 대비 구조 인식 이미지 합성 기법이 세그멘테이션 성능 향상에 얼마나 효과적인가?
• RQ3 실제 및 합성 이미지 간의 조명 변환 기법이 모델의 일반화 능력과 성능 향상에 기여하는가?
• RQ4 인간 애너테이션 훈련 데이터 없이도 제안된 방법이 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 COCO와 같은 대규모 데이터셋에서 미사전학습된 모델과 비교해 본다면, HOC 인스턴스 세그멘테이션에서 이 방법의 성능는 어떠한가?

주요 결과

• 제안된 방법은 랜덤 합성 이미지만을 사용한 기준 방법 대비 mAP r @0.5에서 12.0% 절대적 향상과 mAP r @[0.5:0.95]에서 9.4% 향상을 달성한다.
• 조명 변환 기법은 구조 인식 합성과 조합했을 때 성능 향상이著명하지만, 무작위 이미지 생성과 조합했을 땐 효과가 크지 않다.
• 제안된 방법은 동일한 HOC 데이터셋에서 COCO 미사전학습 Mask R-CNN를 초월하여 오렌지 클래스에서 mAP r @0.5가 90.0%이고 mAP r @[0.5:0.95]가 84.0%를 기록한다.
• 정성적 결과 분석에서 제안된 방법은 기준 방법보다 더 많은 부분적으로 겹쳐진 인스턴스를 정확히 세그멘테이션함으로써 겹침 패턴을 효과적으로 모델링하고 있음을 보여준다.
• Figure 6에서 다양한 IoU 임계값에서 일관된 mAP r 향상이 관찰되어, 방법이 다양한 오버랩 임계값에 대해 강건함을 입증한다.
• 절단 분석 결과에서 구조 모델링과 조명 일치 모두 최적 성능을 위해 필수적임을 확인하였으며, 두 요소의 조합이 가장 높은 성능 향상을 이끌어냈다.