[논문 리뷰] Weakly Supervised Learning of Affordances

Abhilash Srikantha, Jüergen Gall|arXiv (Cornell University)|2016. 05. 10.

Robot Manipulation and Learning참고 문헌 21인용 수 15

한 줄 요약

이 논문은 이미지 수준의 레이블, 관건점(annotation), 인간 자세를 맥락적 신호로 사용하여 품질이 낮은 감독을 받는 의미적 기능 분할을 위한 딥 러닝 프레임워크를 제안한다. 기대-최대화(EM) 최적화 루프를 딥 컨volution 신경망(DCNN)과 통합함으로써, 최소한의 감독으로도 최신 기술 수준(SOTA)의 성능을 달성하며, 3090장의 이미지와 9916개의 개체 인스턴스, 풍부한 인간-물체 상호작용 맥락을 포함한 새로운 픽셀 레이블이 부여된 데이터셋에서 평균 정확도를 0.27로 향상시켰다.

ABSTRACT

Localizing functional regions of objects or affordances is an important aspect of scene understanding. In this work, we cast the problem of affordance segmentation as that of semantic image segmentation. In order to explore various levels of supervision, we introduce a pixel-annotated affordance dataset of 3090 images containing 9916 object instances with rich contextual information in terms of human-object interactions. We use a deep convolutional neural network within an expectation maximization framework to take advantage of weakly labeled data like image level annotations or keypoint annotations. We show that a further reduction in supervision is possible with a minimal loss in performance when human pose is used as context.

연구 동기 및 목표

• 픽셀 수준의 기능 분할에 필요한 높은 레이블링 비용 문제를 해결하기 위해, 이미지 수준의 레이블이나 희박한 관건점 레이블과 같은 약한 감독을 통해 학습할 수 있도록 하는 것.
• 특히 인간 자세가 인간-물체 상호작용 맥락에서 약한 감독 기반 기능 분할 성능 향상에 기여하는 역할을 탐색하는 것.
• 약한 레이블과 맥락적 신호를 모두 활용하여 비용이 많이 드는 픽셀 수준의 레이블에 의존도를 줄이는 확장 가능한 종단간(end-to-end) 딥 러닝 프레임워크를 개발하는 것.
• 기준 측정을 위한 새로운 대규모 픽셀 레이블이 부여된 기능 분할 데이터셋을 제안하며, 인간-물체 상호작용에서 유래한 풍부한 맥락 정보를 포함하는 것.
• 인간 자세가 관건점 레이블을 이미지 간에 효과적으로 전이시켜, 약한 감독 환경에서의 초기화 및 성능 향상에 기여할 수 있음을 입증하는 것.

제안 방법

• 이 방법은 약한 감독을 통해 분할 예측을 반복적으로 개선하기 위해 기대-최대화(EM) 프레임워크를 사용한다: E단계는 관건점 레이블 중심의 정규분포를 통해 잠재적인 픽셀 수준의 분할을 추정하고, M단계는 이러한 추정치를 가짜 정답(pseudo-ground truth)으로 사용하여 DCNN을 훈련시킨다.
• 이 접근법은 [10]의 EM 프레임워크를 확장하여 관건점 레이블의 공간적 의존성을 통합함으로써, 희박한 클릭 포인트 또는 관건점 레이블을 효과적으로 활용할 수 있도록 한다.
• 인간 자세는 맥락적 사전지식으로 사용된다: 회귀 모델이 관건점 위치를 인간 자세에서 예측하여, 직접적인 관건점 레이블이 없는 이미지에서도 약한 레이블을 전이할 수 있도록 한다.
• 이 프레임워크는 혼합 감독을 지원하며, 일부 이미지는 이미지 수준의 레이블, 다른 일부는 관건점 레이블을 동시에 사용하여 훈련할 수 있다.
• E단계에서 배경과 전경 예측의 균형을 맞추기 위해 일정한 보정 항목(constant bias term)을 사용하여 수렴성과 분할 품질을 향상시킨다.
• 이 방법은 3090장의 이미지와 9916개의 개체 인스턴스를 포함한 새로운 데이터셋을 사용하여 평가되었으며, 픽셀 수준의 기능 레이블과 풍부한 인간-물체 상호작용 맥락이 함께 레이블링되어 있다.

실험 결과

연구 질문

• RQ1 전체 픽셀 수준의 레이블이 필요 없이, 이미지 수준의 레이블이나 희박한 관건점 레이블과 같은 약한 감독을 통해 기능 분할을 효과적으로 학습할 수 있는가?
• RQ2 약한 감독 기반 기능 분할에서, 관건점 레이블을 이미지 간에 전이하는 데 인간 자세가 맥락 신호로서 얼마나 효과적인가?
• RQ3 인간-물체 상호작용 맥락을 통합할 경우, 약한 감독 기반 기능 분할 모델의 성능 향상 정도는 어느 정도인가?
• RQ4 혼합 감독(이미지 레이블과 관건점 레이블)을 사용하여 훈련할 때, EM 기반 딥 러닝 프레임워크가 기존의 약한 감독 방법보다 우월한 성능을 보일 수 있는가?
• RQ5 다양한 맥락 사전지식(예: 인간 자세 vs. 물체 바운딩 박스)이 전이된 관건점 레이블의 품질과 최종 분할 정확도에 어떤 영향을 미치는가?

주요 결과

• 관건점 레이블과 인간 자세 맥락을 활용한 제안된 EM 기반 방법은 CAD120 데이터셋에서 평균 정확도 0.27을 달성하여 기준 방법들을 크게 능가했다.
• 관건점 레이블이 있는 훈련 데이터의 2/3만 사용하고(TrainXOnly) EM 프레임워크를 수렴할 때까지 적용함으로써 성능이 0.22에서 0.25로 향상되었으며, 이는 반복적 개선의 효과를 입증한다.
• 반복적 개선을 통해 기존의 준감독 기반 기준 방법 [10]보다 크게 뛰어난 성능을 보였으며, 평균 정확도 0.25 대비 0.16으로, [10]에서 사용된 일정한 보정 항목이 기능 분할에 대해 충분하지 않음을 시사한다.
• 인간 자세 회귀를 통한 관건점 레이블 전이로 인해 성능이 1회 반복 시 0.25에서 수렴 시 0.27로 향상되었으며, 이는 자세 기반 맥락이 모델의 일반화 능력을 향상시킨다는 것을 보여준다.
• 인간 자세 대신 물체 바운딩 박스를 사용하여 관건점 회귀를 수행한 경우 성능이 크게 떨어졌으며(평균 정확도 0.21), 인간 자세가 단순한 물체 위치 추정보다 더 효과적이고 정보가 풍부한 맥락임을 확인한다.
• 정성적 결과 분석에서, 제안된 방법은 VGG+SRF와 같은 감독 기반 기준 방법뿐 아니라 약한 감독 조건에서 훈련된 DeepLab보다도 더 정확하고 공간적으로 일관성 있는 기능 분할 결과를 도출했으며, 특히 '자르기 가능'과 같은 세밀한 기능에 대해 뛰어난 성능을 보였다.