[논문 리뷰] Semantic Instance Segmentation via Deep Metric Learning

Alireza Fathi, Zbigniew Wojna외 5명|arXiv (Cornell University)|2017. 03. 30.

Advanced Neural Network Applications참고 문헌 25인용 수 211

한 줄 요약

본 논문은 두 픽셀의 같은 객체 속 여부를 판단하기 위한 픽셀 수준 임베딩 공간을 학습하고 시드 기반 마스킹을 사용해 인스턴스 분할을 생성하여 Pascal VOC 2012에서 경쟁력 있는 mAP를 달성한다.

ABSTRACT

We propose a new method for semantic instance segmentation, by first computing how likely two pixels are to belong to the same object, and then by grouping similar pixels together. Our similarity metric is based on a deep, fully convolutional embedding model. Our grouping method is based on selecting all points that are sufficiently similar to a set of "seed points", chosen from a deep, fully convolutional scoring model. We show competitive results on the Pascal VOC instance segmentation benchmark.

연구 동기 및 목표

• 동일 클래스의 인스턴스를 구별하여 경계 박스 너머의 시맨틱 인스턴스 분할에 동기를 부여한다.
• 픽셀 단위의 유사성을 인코딩하여 객체 수준의 그룹화를 가능하게 하는 심층 임베딩 모델을 제안한다.
• 학습된 seediness 점수로 안내되는 시드 기반 마스크 확장 메커니즘을 소개한다.
• 공유된 CNN 백본에서 임베딩과 seediness/분류 헤드를 함께 학습한다.

제안 방법

• 같은 인스턴스의 픽셀은 임베딩 공간에서 가깝게, 다른 인스턴스의 픽셀은 멀게 만들도록 64차원 픽셀 임베딩을 학습한다.
• 픽셀 유사도를 sigma(p,q)=2/(1+exp(||e_p-e_q||^2))로 정의하고 쌍 간 크로스엔트로피 손실로 학습한다.
• 시드를 선택하고 sigma(p,q)가 임계값 tau를 넘는 모든 픽셀로 확장하여 객체 마스크를 확장한다.
• 높은 품질의 시드를 선택하고 최대 다양성 기준을 사용해 공간적 다양성을 촉진하기 위해 seediness 히트맵을 계산한다.
• 각 마스크에 대해 시드별 분류 헤드를 사용해 IoU 기반 가이던스로 학습시키고 클래스 라벨과 신뢰도를 부착한다.
• 다중 스케일 이미지 피라미드를 갖춘 공유된 DeepLab v2 백본을 사용하고 임베딩과 seediness/분류 헤드를 제어된 학습율로 함께 학습한다.

실험 결과

연구 질문

• RQ1 완전한 합성곱 신경망 프레임워크에서 픽셀 수준 임베딩 공간이 클래스 간의 객체 인스턴스를 효과적으로 구분할 수 있는가?
• RQ2 모든 픽셀에 대한 그룹화를 전면적으로 수행하지 않고도 고품질 인스턴스 마스크를 효율적으로 생성하기 위해 시드 포인트를 어떻게 선택할 수 있는가?
• RQ3 seediness 기반 시드 선택과 다중 임계 마스킹이 분할 정확도에 미치는 영향은 무엇인가?
• RQ4 상자(box)가 필요 없는 시드 주도 방식이 표준 벤치마크에서 제안 기반 인스턴스 분할 방법과 경쟁할 수 있는가?

주요 결과

• IoU 0.5에서 Pascal VOC 2012 검증에서 mAP^r 62.21%를 달성하였고, 제안 제시를 가진 VOC 평가 중 4위를 차지했다.
• 클래스별 결과는 큰 물체(예: 기차, 개, 오토바이)에서 강한 성능을 보이나 자전거에 대해서는 데이터셋 주석 품질 차이로 약하다.
• 상위 100개 시드를 사용한 시드 기반 마스킹은 객체 제안 없이도 좋은 커버리지와 재현율을 제공한다.
• 이 방법은 더 높은 IoU 임계값에서 더 잘 수행하며, VOC 2012 평가에서 IoU 0.6에서 2위, IoU 0.7에서 3위로 동점으로 기록된다.
• 64차원 임베딩과 seed 기반 샘플링 파라미터 alpha가 약 0.3일 때 검증 세트에서 강한 mAP^r을 보인다.