[논문 리뷰] Semantic Segmentation from Limited Training Data

Anton Milan, Trung Pham외 23명|arXiv (Cornell University)|2017. 09. 22.

Advanced Neural Network Applications참고 문헌 35인용 수 5

한 줄 요약

이 논문은 풍부한 훈련 데이터가 없는 혼잡하고 비정형적인 환경에서 로봇 인식을 위한 두 가지 의미 분할 접근법을 제시한다: 딥 메트릭 러닝(DML)과 미세조정된 ReFineNet. DML 방법은 패치 수준의 임베딩과 투표를 통해 제로샷 적응을 구현하며, ReFineNet는 새로운 물체당 7장의 이미지로도 높은 정확도를 달성하여 Amazon Robotics Challenge 2017에서 빠른 구현을 가능하게 했다.

ABSTRACT

We present our approach for robotic perception in cluttered scenes that led to winning the recent Amazon Robotics Challenge (ARC) 2017. Next to small objects with shiny and transparent surfaces, the biggest challenge of the 2017 competition was the introduction of unseen categories. In contrast to traditional approaches which require large collections of annotated data and many hours of training, the task here was to obtain a robust perception pipeline with only few minutes of data acquisition and training time. To that end, we present two strategies that we explored. One is a deep metric learning approach that works in three separate steps: semantic-agnostic boundary detection, patch classification and pixel-wise voting. The other is a fully-supervised semantic segmentation approach with efficient dataset collection. We conduct an extensive analysis of the two methods on our ARC 2017 dataset. Interestingly, only few examples of each class are sufficient to fine-tune even very deep convolutional neural networks for this specific task.

연구 동기 및 목표

• 풍부한 훈련 데이터 없이 혼잡하고 비정형적인 창고 환경에서 로봇 물체 집기 작업을 위한 강력한 인식 시스템을 개발하기 위해.
• 경쟁 45분 전에 공개되는 새로운 물체 카테고리에 대응하기 위한 과제를 해결하기 위해.
• 몇 분 내로 데이터 수집과 훈련을 통해 딥 신경망의 빠른 적응을 가능하게 하기 위해.
• 실제 로봇 인식 환경에서 제로샷 딥 메트릭 러닝과 소수의 샘플을 활용한 지도적 미세조정 간의 성능을 비교하기 위해.

제안 방법

• 클래스에 종속되지 않은 경계 검출, 학습된 특징 임베딩를 통한 패치 분류, 최종 분할을 위한 픽셀 단위의 투표를 포함하는 세 단계로 구성된 딥 메트릭 러닝(DML) 파이프라인을 제안한다.
• 동일한 물체의 이미지 패치를 낮은 차원의 특징 공간 내에서 가까이 위치시키는 메트릭 러닝 프레임워크를 활용하여, 최근접 이웃 분류가 가능하도록 한다.
• 초기 분할을 위해 RGB-D 입력을 사용하고, 경계 검출을 위해 HHA 특징을 활용하며, 깊이 보간을 통해 강인성을 향상시킨다.
• 엔드 투 엔드 의미 분할을 위해 딥 완전 컨volution 신경망인 ReFineNet를 적용하고, 새로운 물체당 7장의 이미지로만 미세조정한다.
• 효율적인 데이터 수집 전략을 구현: 각 물체당 7개의 시점 촬영을 수행하고, 반자동 분할을 통해 픽셀 단위 마스크를 생성한다.
• 평가의 주요 지표로 F0.5 점수(가중 F1)를 사용하여, 로봇 조작에서의 抓握 성공률을 더 잘 반영하기 위해 재현율을 정밀도보다 우선시한다.

실험 결과

연구 질문

• RQ1 새로운 물체 카테고리가 도입될 때 재학습 없이도 딥 메트릭 러닝이 강력한 의미 분할을 가능하게 할 수 있는가?
• RQ2 최소한의 훈련 데이터로 로봇 인식에서 의미 분할을 위한 소수의 샘플을 활용한 딥 신경망의 미세조정은 얼마나 효과적인가?
• RQ3 시간 효율성과 분할 정확도를 고려할 때, 새로운 물체당 최적의 훈련 이미지 수는 얼마인가?
• RQ4 실제 환경에서의 시나리오 혼잡도(물체 수)가 소수의 샘플 분할 모델 성능에 어떤 영향을 미치는가?
• RQ5 클래스당 훈련 예제 수가 분할 성능과 얼마나 상관이 있는가, 아니면 외관이 주요 요인인가?

주요 결과

• DML 방법은 추론 시간 1분에 F0.5 점수 0.59를 기록했지만, COB 기반 분할의 노이즈로 인해 성능이 제한되었다. 이상적인 분할 조건에서는 F0.5 점수가 0.85에 도달했다.
• 완전히 지도된 ReFineNet 접근법은 물체당 7장의 이미지로 F0.5 점수 0.62를 기록했으며, DML를 초월하여 최종 경쟁 시스템에 채택되었다.
• 성능은 클래스당 훈련 샘플 수와 상관관계가 없었으며, 외관과 시각적 구분 가능성은 데이터 양보다 더 중요한 영향을 미쳤다.
• F0.5 지표는 F1보다 더 잘 그립 성공률을 반영한다. 재현율을 더 강하게 벌점하기 때문에 로봇 조작 목표와 부합한다.
• 시나리오 혼잡도가 증가함에 따라 성능이 점진적으로 저하되었으며, 장면당 물체 수가 1에서 20으로 증가함에 따라 F0.5 점수는 약 0.85에서 약 0.45로 감소했다.
• 물체당 7장의 이미지가 데이터 수집 시간과 성능 간의 최적 균형을 이룩했으며, 12장 이상부터는 수익 감소 현상이 나타났다.