[논문 리뷰] Triply Supervised Decoder Networks for Joint Detection and Segmentation

Jiale Cao, Yanwei Pang외 1명|arXiv (Cornell University)|2018. 09. 25.

Advanced Neural Network Applications참고 문헌 42인용 수 4

한 줄 요약

이 논문은 각 디코더 레이어에 검출 중심, 클래스 인식 세그멘테이션, 클래스 무관 세그멘테이션의 삼중 supervision을 적용함으로써 객체 검출과 의미 세그멘테이션을 동시에 수행하는 새로운 완전 컨볼루션 네트워크인 TripleNet을 제안한다. 경량 모듈(내부 연결 모듈 및 주의력 스킵 레이어 융합)을 통해 특징 학습을 향상시켜 추론 시간 계산 비용을 증가시키지 않고 VOC2007 및 VOC2012에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Joint object detection and semantic segmentation can be applied to many fields, such as self-driving cars and unmanned surface vessels. An initial and important progress towards this goal has been achieved by simply sharing the deep convolutional features for the two tasks. However, this simple scheme is unable to make full use of the fact that detection and segmentation are mutually beneficial. To overcome this drawback, we propose a framework called TripleNet where triple supervisions including detection-oriented supervision, class-aware segmentation supervision, and class-agnostic segmentation supervision are imposed on each layer of the decoder network. Class-agnostic segmentation supervision provides an objectness prior knowledge for both semantic segmentation and object detection. Besides the three types of supervisions, two light-weight modules (i.e., inner-connected module and attention skip-layer fusion) are also incorporated into each layer of the decoder. In the proposed framework, detection and segmentation can sufficiently boost each other. Moreover, class-agnostic and class-aware segmentation on each decoder layer are not performed at the test stage. Therefore, no extra computational costs are introduced at the test stage. Experimental results on the VOC2007 and VOC2012 datasets demonstrate that the proposed TripleNet is able to improve both the detection and segmentation accuracies without adding extra computational costs.

연구 동기 및 목표

• 기존의 통합 학습 프레임워크에서 객체 검출과 의미 세그멘테이션 간 상호 이득이 제한적인 문제를 해결하기 위해.
• 보완적인 감독 신호를 활용하여 검출 및 세그멘테이션 작업의 성능을 향상시키기 위해.
• 다중 작업 감독에도 불구하고 추가적인 추론 비용을 유발하지 않는 경량 아키텍처를 설계하기 위해.
• 클래스 무관 세그멘테이션의 효과를 검토하여 검출 및 세그멘테이션 작업에 대한 사전 지식으로서의 유용성을 탐색하기 위해.

제안 방법

• 각 디코더 레이어에 검출 중심, 클래스 인식 세그멘테이션, 클래스 무관 세그멘테이션의 세 가지 유형의 감독을 도입하여 특징 표현을 향상시킨다.
• 채널 간 특징을 연결함으로써 각 디코더 레이어 내부의 특징 학습을 강화하기 위해 내부 연결 모듈을 도입한다.
• 에이다프티 기반 스킵 레이어 융합을 활용하여 인코더 및 디코더 경로의 특징을 동적으로 가중하고 융합함으로써 특징 품질을 향상시킨다.
• 각 레이어가 서로 다른 스케일의 객체를 예측할 수 있도록 다중 스케일 디코더 아키텍처를 사용함으로써 다중 스케일 검출을 가능하게 한다.
• 클래스 무관 세그멘테이션 감독을 사전으로 활용하여 검출 및 세그멘테이션 작업을 안내함으로써 객체 존재도 추정을 향상시킨다.
• 클래스 인식 및 클래스 무관 세그멘테이션은 학습 기간 동안만 수행되며, 테스트 시에는 이 모듈들을 제거하여 계산 오버헤드를 방지한다.

실험 결과

연구 질문

• RQ1 검출 및 세그멘테이션 작업 간의 통합 감독이 동시에 두 작업의 성능을 향상시킬 수 있는가?
• RQ2 클래스 무관 세그멘테이션 감독이 검출 및 세그멘테이션 정확도 향상에 유용한 사전으로 작용하는가?
• RQ3 내부 연결 및 주의력 기반 스킵 레이어 융합과 같은 경량 모듈이 추론 비용을 증가시키지 않고도 특징 학습을 향상시킬 수 있는가?
• RQ4 추론 시간에 추가 계산 비용 없이도 검출 및 세그멘테이션에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 기존의 통합 검출 및 세그멘테이션 방법과 비교할 때, 제안된 TripleNet의 정확도 및 효율성은 어떠한가?

주요 결과

• TripleNet는 VOC2007 테스트 세트에서 평균 정밀도(mAP) 82.7%를 기록하여 SSD, DSSD, BlitzNet를 포함한 모든 최신 기술 수준의 방법들을 능가한다.
• VOC2012 데이터셋에서 TripleNet는 평균 교차율(mIoU) 82.9%를 달성하여 BlitzNet을 7.3个百分点 초월한다.
• BlitzNet 대비 검출 mAP는 2.0% 향상되고 세그멘테이션 mIoU는 7.3% 향상되어 강력한 성능 향상을 입증한다.
• 제안된 TripleNet는 추론 시간에 추가 계산 비용 없이도 검출 및 세그멘테이션 작업 모두에서 최신 기술 수준의 성능을 달성한다.
• 제거 분석 결과, 클래스 무관 세그멘테이션 감독이 성능 향상에 크게 기여하며, 특히 객체 검출에서 두드러진다.
• 주의력 스킵 레이어 융합 및 내부 연결 모듈은 두 데이터셋에서의 제거 분석 결과에 따라 개선된 특징 표현을 기여한다.