[논문 리뷰] Show, match and segment: Joint learning of semantic matching and object co-segmentation

Yun Chun Chen, Yen‐Yu Lin외 2명|arXiv (Cornell University)|2019. 06. 13.

Advanced Neural Network Applications인용 수 16

한 줄 요약

이 논문은 두 작업 간 상호 보완적 감독을 활용하여 의미적 매칭과 객체 공세그멘테이션을 공동으로 학습하는 프레임워크를 제안한다: 매칭에서 유도된 조밀한 대응 필드는 마스크 일관성을 향상시키고, 객체 마스크는 매칭에서 배경 잡음의 영향을 줄인다. 종단 간 모델은 애초에 애너테이션된 대응점이나 마스크가 필요 없이 다섯 가지 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present an approach for jointly matching and segmenting object instances of the same category within a collection of images. In contrast to existing algorithms that tackle the tasks of semantic matching and object co-segmentation in isolation, our method exploits the complementary nature of the two tasks. The key insights of our method are two-fold. First, the estimated dense correspondence fields from semantic matching provide supervision for object co-segmentation by enforcing consistency between the predicted masks from a pair of images. Second, the predicted object masks from object co-segmentation in turn allow us to reduce the adverse effects due to background clutters for improving semantic matching. Our model is end-to-end trainable and does not require supervision from manually annotated correspondences and object masks. We validate the efficacy of our approach on five benchmark datasets: TSS, Internet, PF-PASCAL, PF-WILLOW, and SPair-71k, and show that our algorithm performs favorably against the state-of-the-art methods on both semantic matching and object co-segmentation tasks.

연구 동기 및 목표

• 기존 방법들이 의미적 매칭과 객체 공세그멘테이션을 별개의 작업으로 간주하는 데서 비롯하는 한계를 해결하기 위해.
• 의미적 매칭과 객체 공세그멘테이션 간 상호보완적 특성을 활용하여 성능 향상을 도모하기 위해.
• 수동으로 애너테이션된 대응점이나 객체 마스크가 필요 없는 종단 간 훈련 가능한 모델을 개발하기 위해.
• 공세그멘테이션 감독을 통해 배경 잡음이 의미적 매칭에 악영향을 미치는 것을 줄이기 위해.
• 다양한 벤치마크 데이터셋에서 두 작업을 동시에 뛰어난 성능으로 달성하기 위해.

제안 방법

• 의미적 매칭에서 유도된 조밀한 대응 필드를 사용하여 이미지 쌍 간 예측 마스크 간 일관성을 강제함으로써 객체 공세그멘테이션을 감독한다.
• 객체 공세그멘테이션 예측 결과를 활용해 배경 잡음을 억제함으로써 의미적 매칭의 강건성과 정확도를 향상시킨다.
• 애너테이션된 대응점이나 진짜 마스크 없이 종단 간 훈련을 수행한다.
• 공유된 특징 인코더가 이미지 쌍을 처리하여 대응 필드와 세그멘테이션 마스크를 동시에 생성한다.
• 손실 함수는 매칭과 세그멘테이션 목표를 조합하며, 교차 작업 감독이 특징 학습을 향상시킨다.
• 예측치의 반복적 개선을 통해 두 작업을 동시에 최적화할 수 있도록 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 의미적 매칭과 객체 공세그멘테이션 간 상호 보완적 감독이 두 작업의 성능 향상에 기여하는가?
• RQ2 대응 필드를 감독으로 사용할 경우 공세그멘테이션에서 마스크 일관성이 어떻게 향상되는가?
• RQ3 공세그멘테이션은 의미적 매칭에서 배경 잡음의 악영향을 어느 정도 줄이는가?
• RQ4 통합 모델은 별도의 모델보다 매칭 및 세그멘테이션 벤치마크에서 모두 뛰어난 성능을 낼 수 있는가?
• RQ5 이러한 통합 학습 환경에서 애너테이션된 대응점이나 마스크가 없을 경우 성능에 악영향을 미치는가?

주요 결과

• 제안된 방법은 TSS, Internet, PF-PASCAL, PF-WILLOW, SPair-71k 등 다섯 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 통합 학습 프레임워크는 별도로 처리하는 방법보다 의미적 매칭과 객체 공세그멘테이션 정확도를 모두 향상시킨다.
• 수동으로 애너테이션된 대응점이나 객체 마스크가 필요 없이도 모델이 잘 작동한다.
• 대응 필드를 감독으로 사용할 경우 이미지 쌍 간 마스크 일관성이 향상된다.
• 객체 공세그멘테이션 예측 결과는 효과적으로 배경 잡음을 줄여 더 정확한 매칭을 가능하게 한다.
• 종단 간 훈련 방식은 교차 작업 감독을 통해 효과적인 특징 학습을 가능하게 한다.