[논문 리뷰] Learnable Tree Filter for Structure-preserving Feature Transform

Lin Song, Yanwei Li외 5명|arXiv (Cornell University)|2019. 09. 27.

Advanced Neural Network Applications인용 수 22

한 줄 요약

이 논문은 특성 비유사도에서 유도된 최소 스패닝 트리(MST)를 활용하여 장거리 의존성을 모델링하면서도 객체 구조를 유지하는 학습 가능한 트리 필터 모듈을 제안한다. 이 방법은 효율적인 선형 시간 알고리즘을 사용하여 추론을 빠르게 하고, PSP 및 비국소 블록과 비교해도 최소한의 계산 오버헤드로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Learning discriminative global features plays a vital role in semantic segmentation. And most of the existing methods adopt stacks of local convolutions or non-local blocks to capture long-range context. However, due to the absence of spatial structure preservation, these operators ignore the object details when enlarging receptive fields. In this paper, we propose the learnable tree filter to form a generic tree filtering module that leverages the structural property of minimal spanning tree to model long-range dependencies while preserving the details. Furthermore, we propose a highly efficient linear-time algorithm to reduce resource consumption. Thus, the designed modules can be plugged into existing deep neural networks conveniently. To this end, tree filtering modules are embedded to formulate a unified framework for semantic segmentation. We conduct extensive ablation studies to elaborate on the effectiveness and efficiency of the proposed method. Specifically, it attains better performance with much less overhead compared with the classic PSP block and Non-local operation under the same backbone. Our approach is proved to achieve consistent improvements on several benchmarks without bells-and-whistles. Code and models are available at https://github.com/StevenGrove/TreeFilter-Torch.

연구 동기 및 목표

• 기존의 전역 맥락 집합 방법이 장거리 특성 모델링 중 객체 세부 정보를 忽시하는 한계를 해결하기 위해.
• 특성 변환 중 공간적 및 의미적 구조를 유지하는 가역적이고 구조를 유지하는 모듈을 개발하기 위해.
• 트리 기반 필터링을 딥 네트워크에 실용적으로 적용할 수 있도록 선형 시간 알고리즘을 설계하기 위해.
• 통합된 프레임워크에 모듈을 통합하여 의미 분할에서 일관된 성능 향상을 이끌어내기 위해.
• 벨스 앤 윌스 없이 PASCAL VOC 2012 및 Cityscapes에서 최신 기술 수준의 결과를 입증하기 위해.

제안 방법

• 특성 맵에서 저수준 가이드가 된 최소 스패닝 트리(MST)를 구성하며, 정점은 픽셀을 나타내고 간선은 고수준 의미적 비유사도에 의해 가중치가 부여된다.
• 간선 가중치는 역전파를 통해 학습되어 특성 임bedding 기반의 트리 구조에 대한 엔드 투 엔드 최적화가 가능해진다.
• 새로운 선형 시간 알고리즘이 O(N²)에서 O(N)으로 계산 복잡도를 감소시켜 트리 기반 필터링을 실시간 배포에 적합하게 한다.
• 트리 필터링 모듈은 다중 스케일 특성 집합을 위한 일반적인, 가역적 구성 요소로서 딥 신경망에 삽입된다.
• 프레임워크는 백본에서 PSP 및 비국소 블록의 대체 또는 보완으로 트리 필터를 사용한다.
• 모듈은 MST 구조에 공간적 근접성과 특성 비유사성을 모두 인코딩함으로써 객체 세부 정보를 유지한다.

실험 결과

연구 질문

• RQ1 학습 가능한 트리 구조 그래프가 의미 분할에서 세밀한 객체 세부 정보를 유지하면서도 효과적으로 장거리 의존성을 모델링할 수 있는가?
• RQ2 계산 비용을 최소화하면서도 확장 가능한 가역적이고 효율적인 트리 필터링 모듈을 설계할 수 있는가?
• RQ3 제안된 모듈이 PSP 및 비국소 블록과 같은 표준 전역 맥락 모듈보다 정확도와 효율성 측면에서 뛰어나게 성능을 냈는가?
• RQ4 기존의 분할 아키텍처에 구조적 수정 없이 트리 필터를 효과적으로 통합할 수 있는가?
• RQ5 이 방법은 벤치마크 간에 일반화되어 있으며, 데이터 증강 또는 사전 훈련 없이 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 트리 필터(TF)는 ResNet-50와 함께 PASCAL VOC 2012에서 74.9% mIoU를 기록했으며, 8FLOPs의 오버헤드를 가지며 PSP(74.3%) 및 NL(74.2%)를 뛰어넘었다. FLOPs 증가율은 1.5% 미만이었다.
• ResNet-101과 다단계 TF를 사용할 경우, PASCAL VOC 2012 검증 세트에서 75.6% mIoU를 달성하여 기준 모델보다 8.3个百分点 향상되었다.
• Cityscapes에서는 정밀 애너테이션 데이터만 사용하고도 Vanilla ResNet-101을 기반으로 80.8% mIoU를 기록했으며, 이는 이전 최신 기술 수준의 방법을 초월했다.
• MS-COCO 사전 훈련을 사용할 경우, PASCAL VOC 2012에서 86.3% mIoU를 달성하여 새로운 최신 기술 수준 결과를 수립했다.
• 선형 시간 구현은 표준 비국소 연산 대비 FLOPs를 30% 이상 감소시켰으며, 정확도는 유지하거나 향상시켰다.
• 제거 실험 결과, 다양한 백본과 설정에서 모듈이 최소한의 계산 비용으로 일관되게 성능 향상을 이룬다는 것이 확인되었다.