[논문 리뷰] Tree-structured Kronecker Convolutional Network for Semantic Segmentation

Tianyi Wu, Sheng Tang외 3명|arXiv (Cornell University)|2018. 12. 12.

Advanced Neural Network Applications참고 문헌 34인용 수 9

한 줄 요약

이 논문은 부분적 특징 정보를 포착하면서 파rameter 수를 늘리지 않고 수용영역을 확장하는 데 Kronecker 컨벌루션을 도입한 트리 구조 Kronecker 컨벌루션 네트워크(TKCN)를 제안한다. 또한 계층적인 다중 척도의 맥락적 특징을 인코딩하기 위해 트리 구조 특징 통합(TFA) 모듈을 활용한다. TKCN은 PASCAL VOC 2012(83.2% mIoU), Cityscapes(79.5% mIoU), PASCAL-Context(51.8% mIoU)에서 최신 기술 수준(SOTA) 성능을 달성하여 더 나은 특징 활용과 계층적 맥락 모델링을 통해 분류 정확도를 향상시킴을 입증한다.

ABSTRACT

Most existing semantic segmentation methods employ atrous convolution to enlarge the receptive field of filters, but neglect partial information. To tackle this issue, we firstly propose a novel Kronecker convolution which adopts Kronecker product to expand the standard convolutional kernel for taking into account the partial feature neglected by atrous convolutions. Therefore, it can capture partial information and enlarge the receptive field of filters simultaneously without introducing extra parameters. Secondly, we propose Tree-structured Feature Aggregation (TFA) module which follows a recursive rule to expand and forms a hierarchical structure. Thus, it can naturally learn representations of multi-scale objects and encode hierarchical contextual information in complex scenes. Finally, we design Tree-structured Kronecker Convolutional Networks (TKCN) which employs Kronecker convolution and TFA module. Extensive experiments on three datasets, PASCAL VOC 2012, PASCAL-Context and Cityscapes, verify the effectiveness of our proposed approach. We make the code and the trained model publicly available at https://github.com/wutianyiRosun/TKCN.

연구 동기 및 목표

• 수용영역 확장을 위해 확장된 컨벌루션의 부분적 특징 정보를 간과하는 한계를 해결하기 위해.
• 세분화된 맥락과 국소적 세부 정보를 동시에 포착하는 파rameter 효율적인 방법을 개발하기 위해.
• 재귀적이고 트리 구조적인 특징 통합 기반의 방식으로 복잡한 환경에서의 계층적 공간적 의존성을 모델링하기 위해.
• Kronecker 컨벌루션과 계층적 특징 통합을 통합한 통합 프레임워크를 설계하여 분류 정확도를 향상시키기 위해.

제안 방법

• Kronecker 곱을 사용하여 표준 컨벌루션 커널을 확장하는 Kronecker 컨벌루션을 제안하여 이전에 간과되었던 특징 벡터를 포착할 수 있도록 한다.
• Kronecker 컨벌루션에 두 가지 요소를 도입한다: 수용영역 크기를 제어하는 외부 간격 요소(r₁)와 부분 영역 특징을 포착하는 내부 공유 요소(r₂).
• 재귀적 분기 규칙에 기반한 트리 구조 특징 통합(TFA) 모듈을 설계하여 각 층에서 국소적 특징을 유지하면서 장거리 의존성을 통합한다.
• TFA에서 트리 형태의 아키텍처를 활용하여 고정된 척도 융합에 의존하지 않고 자연스럽게 다중 척도 표현을 학습한다.
• Kronecker 컨벌루션과 TFA를 하나의 종단 간(end-to-end) 학습 가능한 프레임워크에 통합하여 트리 구조 Kronecker 컨벌루션 네트워크(TKCN)를 구성한다.
• 모든 벤치마크에서 성능을 추가로 향상시키기 위해 테스트 시 다중 척도 추론과 평균 융합을 활용한다.

실험 결과

연구 질문

• RQ1 Kronecker 컨벌루션은 파rameter 효율성을 유지하면서도 확장된 컨벌루션에서 특징 활용을 효과적으로 향상시킬 수 있는가?
• RQ2 고정된 척도 융합 방식보다 재귀적이고 트리 구조적인 모듈이 더 나은 계층적 맥락적 관계를 모델링할 수 있는가?
• RQ3 Kronecker 컨벌루션과 트리 구조 특징 통합을 융합하면 다양한 세분화 분류 벤치마크에서 일관된 성능 향상이 이루어지는가?
• RQ4 정확도와 파rameter 효율성 측면에서 제안된 방법은 최신 기술 수준 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 외부 데이터셋을 사용하지 않고도 PASCAL VOC 2012에서 83.2%의 평균 교차율(mIoU)을 달성하여 COCO 또는 JFT에서 미리 훈련하지 않은 방법 중 두 번째로 높은 순위를 기록한다.
• Cityscapes에서는 다중 척도 추론을 통해 79.5% mIoU를 달성하여 대부분의 이전 방법을 능가하며, 더 복잡한 백본을 갖춘 모델의 성능에 가까이 다가섰다.
• PASCAL-Context에서는 다중 척도 입력을 사용해 51.8% mIoU를 달성하여 이전 최신 기술 수준 성능인 51.6%를 초월했다.
• 절단 분석 결과 Kronecker 컨벌루션과 TFA 모듈이 각각 성능 향상에 기여하며, 둘을 함께 사용할 경우 기준 모델 대비 6.87% 향상된 성능을 기록했다.
• 유효한 특징 비율(VFR) 분석 결과 Kronecker 컨벌루션은 특히 고비율에서 아트로스 컨벌루션보다 특징 활용도를 크게 향상시킴을 보여주었다.
• 정성적 결과는 TKCN이 특히 객체 경계와 소규모 구조에서 더 정밀하고 정확한 분할 마스크를 생성함을 입증한다.