[논문 리뷰] Adaptive Binarization for Weakly Supervised Affordance Segmentation

Johann Sawatzky, Jüergen Gall|arXiv (Cornell University)|2017. 07. 10.

Robot Manipulation and Learning참고 문헌 26인용 수 5

한 줄 요약

이 논문은 희박한 关건점 애너테이션을 사용하여 약한 감독 하의 기능 분할을 위한 적응형 이진화 방법을 제안하며, 추가적인 그래프 컷 단계가 필요 없도록 한다. 인스턴스별 임계치를 학습하고 근사 교차검증을 통한 초기화를 최적화함으로써, CAD-120 및 UMD 데이터셋에서 이전 작업 대비 평균 재현율 정확도를 최대 17%p 향상시킨다.

ABSTRACT

The concept of affordance is important to understand the relevance of object parts for a certain functional interaction. Affordance types generalize across object categories and are not mutually exclusive. This makes the segmentation of affordance regions of objects in images a difficult task. In this work, we build on an iterative approach that learns a convolutional neural network for affordance segmentation from sparse keypoints. During this process, the predictions of the network need to be binarized. In this work, we propose an adaptive approach for binarization and estimate the parameters for initialization by approximated cross validation. We evaluate our approach on two affordance datasets where our approach outperforms the state-of-the-art for weakly supervised affordance segmentation.

연구 동기 및 목표

• 픽셀 수준의 애너테이션이 없고 희박한 관건점 감독만을 사용하는 약한 감독 하의 기능 분할 과제를 해결한다.
• 기능 분할을 위한 반복적 딥 러닝 파이프라인에서 고정 임계치 이진화의 한계를 극복한다.
• 이전 작업에서 사용된 추가적인 그래프 컷 분할 단계가 필요 없도록 적응형, 인스턴스별 이진화를 도입함으로써 이를 제거한다.
• 관건점 기반 재현율 근사치를 기반으로 한 근사 교차검증을 통해 초깃값 파라미터를 추정하여 기능 마스크의 초기화 품질을 향상시킨다.
• 약한 감독 하에서 두 가지 벤치마크 기능 분할 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 학습 중 각 이미지와 기능 클래스에 대해 고유한 임계치를 계산하는 적응형 이진화 전략을 도입하여 고정된 50% 이진화를 대체한다.
• 이진화 단계의 미분 가능 근사화를 사용하여 엔드 투 엔드 학습 중 이진화 연산을 통해 역전파가 가능하도록 한다.
• 관건점 위치만을 사용하여 재현율 지수를 근사하여 분할 마스크의 최적 초깃값 파라미터를 추정한다.
• 관건점 기반 재현율 근사치를 기반으로 한 근사 교차검증을 통해 가우시안 커널 대역폭 σ와 같은 하이퍼파라미터를 최적화한다.
• 기본 신경망 가중치 업데이트와 분할 마스크 정밀화를 번갈아가며 수행하는 반복 학습 프레임워크에 적응형 이진화를 통합한다.
• VGG 및 ResNet 백본을 모두 사용하여 CAD-120 및 UMD 파트 기능 분할 데이터셋에서 성능을 평가함으로써, 강인성과 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 고정 임계치 이진화와 비교해 볼 때, 적응형, 인스턴스별 이진화가 약한 감독 하의 기능 분할 정확도를 향상시킬 수 있는가?
• RQ2 후처리 단계의 그래프 컷 단계를 제거함으로써 세밀한 기능 영역의 국소화가 향상되는가?
• RQ3 근사 교차검증을 통해 관건점 애너테이션만으로 마스크 초기화를 위한 하이퍼파라미터를 효과적으로 추정할 수 있는가?
• RQ4 겹치는 영역이 있는 도전적인 다중 레이블 기능 분할 작업에서 제안된 방법의 성능은 어떠한가?
• RQ5 적응형 이진화 전략은 다양한 네트워크 아키텍처와 데이터셋 분할에 대해 일반화되는가?

주요 결과

• 제안된 방법은 CAD-120 데이터셋의 액터 스플릿에서 [27]에 비해 평균 재현율 정확도를 17%p 향상시켰다.
• UMD 파트 기능 분할 데이터셋에서, 신규 스플릿에서는 평균 재현율 지수를 0.42로 향상시키고, 카테고리 스플릿에서는 0.60으로 높여 [27] 및 이전 최신 기술 수준의 방법을 능가했다.
• ResNet 기반 모델은 모든 스플릿에서 VGG 기반 모델보다 높은 평균 정확도를 달성했으며, [27]와 달리 VGG가 때로 더 우수했던 것과는 대조된다.
• 정성적 결과에서는 제안된 방법이 컵의 뚜껑과 같은 작은 기능 부분을 더 잘 국소화하며, [27]에서 관찰된 주요 물체와의 과도한 융합을 방지함을 보였다.
• 하이퍼파라미터 초기화를 위한 근사 교차검증 접근법은 특히 초기 학습 반복에서 마스크 품질을 크게 향상시켰다.
• 외부 그래프 컷 단계가 필요 없어져 파이프라인을 단순화하고 후처리 단계에서의 오차 전파를 줄였다.