[논문 리뷰] Hard Pixels Mining: Learning Using Privileged Information for Semantic Segmentation.

Zhangxuan Gu, Li Niu외 1명|arXiv (Cornell University)|2019. 06. 27.

Advanced Neural Network Applications참고 문헌 58인용 수 3

한 줄 요약

이 논문은 훈련 중에 깊이 정보를 특권 정보(privileged information)로 사용하여 영상 세분화 성능을 향상시키기 위해 하드 픽셀 마이닝을 제안한다. 손실 가중치 모듈(Loss Weight Module, LWM)을 도입하여 깊이 예측 오차(Depth Prediction Error, DPE)와 깊이 인식 세분화 오차(Depth-aware Segmentation Error, DSE)를 기반으로 손실 가중치를 계산함으로써, 다중 스케일 출력에서 하드 픽셀에 집중하여 훈련을 유도하며, 추론 시 깊이 정보가 필요하지 않은 상태에서 SOTA 성능을 달성한다.

ABSTRACT

It has been shown that incorporating depth features into RGB features helps improve semantic segmentation. However, depth information is usually unavailable for the test images. In this paper, we leverage only the depth of training images as the privileged information to mine the hard pixels in semantic segmentation. Specifically, we propose a novel Loss Weight Module (LWM), which outputs a loss weight map by employing two depth-related measurements of hard pixels: Depth Prediction Error (DPE) and Depth-aware Segmentation Error (DSE). The loss weight map is then applied to segmentation loss, aimed at learning a more robust model by paying more attention to the hard pixels. Besides, we also explore a curriculum learning strategy based on the loss weight map. Meanwhile, to fully mine the hard pixels on different scales, we apply our loss weight module to multi-scale side outputs. Our hard pixels mining method achieves the state-of-the-art results on two benchmark datasets, and even outperforms the methods which need depth input while testing.

연구 동기 및 목표

• 훈련 이미지의 깊이 정보를 특권 정보로 활용하여 영상 세분화 성능을 향상시키는 것.
• 깊이 관련 오차 측정을 통해 세분화가 어려운 픽셀을 식별하고, 이를 훈련에 집중하는 것.
• 추론 시 깊이 정보가 필요 없이도 모델의 강인성을 향상시키는 방법을 개발하는 것.
• 손실 가중치 전략을 다중 스케일 네트워크 출력에 적용하여 더 나은 특징 수준의 하드 샘플 마이닝을 달성하는 것.

제안 방법

• 손실 가중치 모듈(Loss Weight Module, LWM)은 깊이 관련 두 가지 측정값인 깊이 예측 오차(Depth Prediction Error, DPE)와 깊이 인식 세분화 오차(Depth-aware Segmentation Error, DSE)를 사용하여 손실 가중치 맵을 계산한다.
• DPE는 예측된 깊이와 진짜 깊이 간의 격차를 수치화하여 깊이 감독이 신뢰할 수 없는 픽셀을 식별한다.
• DSE는 깊이 불확실성이 높은 영역에서의 세분화 오차를 측정하여, 예측이 어려우며 깊이 정보도 모호한 픽셀을 강조한다.
• LWM은 DPE와 DSE를 조합하여 공간적으로 적응적인 손실 가중치 맵을 생성하며, 이는 훈련 중 하드 픽셀에 대한 강조를 증가시킨다.
• 이 방법은 세분화 네트워크의 다중 스케일 사이드 아웃풋에 LWM을 통합하여 스케일 인식 하드 샘플 마이닝을 가능하게 한다.
• 손실 가중치 맵을 기반으로 커리큘럼 학습 전략을 적용하여 점차로 어려운 샘플들에 대해 훈련을 진행한다.

실험 결과

연구 질문

• RQ1 훈련 이미지에서의 깊이 정보를 특권 정보로 효과적으로 활용하여 추론 시 깊이 정보가 필요 없이도 영상 세분화 성능을 향상시킬 수 있는가?
• RQ2 깊이 관련 오차 지표(DPE와 DSE)를 어떻게 조합하여 하드 픽셀을 식별하고 훈련을 향상시킬 수 있는가?
• RQ3 손실 가중치 모듈을 다중 스케일에 적용하면 세분화 성능 향상에 기여하는가?
• RQ4 손실 가중치 맵을 기반으로 한 커리큘럼 학습 전략이 모델 일반화 능력을 추가로 향상시킬 수 있는가?
• RQ5 추론 시 깊이 정보가 필요한 기존 최신 기법들과 비교해 볼 때 제안된 방법은 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 영상 세분화를 위한 두 가지 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.
• 추론 시 깊이 입력이 필요한 기법들보다 뛰어난 성능을 보이며, 훈련 시에만 깊이 정보를 사용하는 것이 효과적임을 입증한다.
• 다중 스케일 출력에 손실 가중치 모듈을 통합함으로써 특징 학습 능력과 강인성이 향상된다.
• 손실 가중치 맵을 기반으로 한 커리큘럼 학습 전략은 더 안정적이고 효과적인 훈련을 기여한다.
• DPE와 DSE를 하드 샘플 지표로 사용함으로써 어려운 픽셀에 대한 모델 정확도가 크게 향상된다.