[논문 리뷰] Reinforcement Learning for Semantic Segmentation in Indoor Scenes

Md. Alimoor Reza, Jana Košecká|arXiv (Cornell University)|2016. 06. 03.

Advanced Neural Network Applications참고 문헌 21인용 수 10

한 줄 요약

이 논문은 뉴런망 기반 강화학습을 활용해 실내 환경에서 의미적 세그멘테이션을 수행하는 방법을 제안한다. 독립적인 이진 객체-배경 세그멘테이션을 순차적으로 조합하는 정책을 학습함으로써, NYU-V2 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 로봇 응용 분야에서 모듈러하고 작업별로 특화되며 점진적인 학습이 가능한 방식을 제공한다.

ABSTRACT

Future advancements in robot autonomy and sophistication of robotics tasks rest on robust, efficient, and task-dependent semantic understanding of the environment. Semantic segmentation is the problem of simultaneous segmentation and categorization of a partition of sensory data. The majority of current approaches tackle this using multi-class segmentation and labeling in a Conditional Random Field (CRF) framework or by generating multiple object hypotheses and combining them sequentially. In practical settings, the subset of semantic labels that are needed depend on the task and particular scene and labelling every single pixel is not always necessary. We pursue these observations in developing a more modular and flexible approach to multi-class parsing of RGBD data based on learning strategies for combining independent binary object-vs-background segmentations in place of the usual monolithic multi-label CRF approach. Parameters for the independent binary segmentation models can be learned very efficiently, and the combination strategy---learned using reinforcement learning---can be set independently and can vary over different tasks and environments. Accuracy is comparable to state-of-art methods on a subset of the NYU-V2 dataset of indoor scenes, while providing additional flexibility and modularity.

연구 동기 및 목표

• 의미적 세그멘테이션에서 단일 다중 클래스 CRF 모델의 유연성 부족 문제를 해결하기 위해 작업별로 특화된 레이블 선택과 점진적 학습을 가능하게 한다.
• 세그멘테이션을 독립적인 이진 예측으로 분리함으로써 로봇 응용 분야에서 모듈러하고 적응 가능한 의미적 이해를 실현한다.
• 전체 모델을 재학습하지 않고도 수명 주기 학습과 새로운 의미적 개념에 대한 동적 적응을 지원하는 유연한 프레임워크를 개발한다.
• 일괄적인 다중 클래스 CRF 최적화가 아닌 순차적 정책 학습을 통해 학습 및 추론의 최적화 효율성을 향상시킨다.
• 기하학적 및 외관 특징을 융합한 다양화된 슈퍼픽셀을 활용해 실내 환경에서 더 나은 영역 표현을 가능하게 하여 성능을 향상시킨다.

제안 방법

• 각 행동이 하나의 객체 카테고리 선택 및 세그멘테이션에 해당하는 마르코프 결정 과정(MDP)으로 이진 세그멘테이션의 순차적 조합을 수식화한다.
• 추론 중에 픽셀 단위 Jaccard 지수 보상 신호를 최대화하는 정책을 학습하기 위해 최소 제곱 정책 반복(LSPI) 알고리즘을 사용한다.
• 다양화된 슈퍼픽셀 생성: RGB-D 데이터의 기하학적 피팅을 통한 큰 평면 영역과 외관 기반 클러스터링을 이용한 작은 밀집 영역.
• 픽셀 수준의 애너테이션을 기반으로 지도 학습을 통해 각 객체 카테고리별로 독립적인 이진 세그멘테이션 모델을 훈련한다.
• 학습된 정책을 사용해 세그멘테이션을 순차적으로 조합하며, 각 단계에서 신뢰도 가중 융합을 통해 현재 세그멘테이션 맵을 개선한다.
• 시간 차분 학습을 통해 정책을 종합적으로 최적화하며, 보상은 최종 세그멘테이션과 진짜 값 간의 Jaccard 지수로 계산된다.

실험 결과

연구 질문

• RQ1 이진 세그멘테이션의 순차적 정책을 학습시켜 최신 기술 수준의 다중 클래스 CRF 방법과 경쟁 가능한 의미적 세그멘테이션 정확도를 달성할 수 있는가?
• RQ2 독립적인 이진 세그멘테이션과 정책 기반 조합의 모듈러한 접근 방식이 작업별 레이블 서브셋에 더 뛰어난 적응성을 제공하는가?
• RQ3 기하학적 및 외관 특징을 융합한 다양화된 슈퍼픽셀의 사용이 실내 환경에서의 세그멘테이션 성능에 어떤 영향을 미치는가?
• RQ4 강화학습이 복잡한 실내 환경에서 객체 선택 및 세그멘테이션의 최적 순서를 효과적으로 학습할 수 있는가?
• RQ5 제안된 방법이 전체 모델을 재학습하지 않고도 새로운 의미적 개념에 대한 점진적 및 수명 주기 학습을 얼마나 잘 지원하는가?

주요 결과

• 제안된 방법은 NYU-V2 데이터셋에서 경쟁 가능한 성능을 달성하였으며, '거실' 환경에서 평균 Jaccard 지수는 68.0%로 Gupta 등 [9]의 최신 기술 수준 방법과 유사하다.
• '주방' 환경에서는 '침대'에 대해 60.5%의 Jaccard 지수, '전구'에 대해 34.8%를 기록하여 일반적인 실내 객체에서 뛰어난 성능을 보였다.
• LSPI로 학습된 정책은 고정 순서 및 무작위 순서 기반 베이스라인을 능가하며, 5개 객체에 대해 모든 120개 순열을 조합한 최적 조합의 성능에 가까워졌다.
• 거실에서 '바닥'에 대해 81.3%의 Jaccard 지수, '벽'에 대해 68.0%를 기록하여 큰 평면 표면에서 뛰어난 성능을 보였다.
• 다양화된 슈퍼픽셀의 사용은 큰 구조적 표면과 작은 밀집 객체를 효과적으로 포착함으로써 세그멘테이션 정확도를 향상시켰다.
• 모듈러한 설계 덕분에 관련 레이블에만 집중하는 작업별 세그멘테이션을 가능하게 하였으며 성능 저하 없이도 탄력적이고 적응 가능한 로봇 인식을 지원한다.