[논문 리뷰] Efficient Self-Ensemble Framework for Semantic Segmentation

Walid Bousselham, Guillaume Thibault외 5명|arXiv (Cornell University)|2021. 11. 26.

Advanced Neural Network Applications참고 문헌 46인용 수 12

한 줄 요약

이 논문은 기능 피라미드 네트워크에서 유도된 다중 척도 특징을 사용하여 단일 모델 내에서 다수의 예측을 생성하는 자기 앙상블 프레임워크를 제안한다. 이는 엔드 투 엔드 훈련을 가능하게 하고 별도의 모델 훈련이 필요 없도록 한다. 이 방법은 ADE20K, Pascal Context, COCO-Stuff-10K에서 독립적인 디코더의 예측을 융합함으로써 최신 기술 수준(SOTA)의 성능을 달성하며, 훈련 비용을 크게 줄이고 정확도를 향상시킨다.

ABSTRACT

Ensemble of predictions is known to perform better than individual predictions taken separately. However, for tasks that require heavy computational resources, extit{e.g.} semantic segmentation, creating an ensemble of learners that needs to be trained separately is hardly tractable. In this work, we propose to leverage the performance boost offered by ensemble methods to enhance the semantic segmentation, while avoiding the traditional heavy training cost of the ensemble. Our self-ensemble framework takes advantage of the multi-scale features set produced by feature pyramid network methods to feed independent decoders, thus creating an ensemble within a single model. Similar to the ensemble, the final prediction is the aggregation of the prediction made by each learner. In contrast to previous works, our model can be trained end-to-end, alleviating the traditional cumbersome multi-stage training of ensembles. Our self-ensemble framework outperforms the current state-of-the-art on the benchmark datasets ADE20K, Pascal Context and COCO-Stuff-10K for semantic segmentation and is competitive on Cityscapes. Code will be available at github.com/WalBouss/SenFormer.

연구 동기 및 목표

• 기존 앙상블 방법에서 정신적인 다수의 모델 훈련에 따른 높은 계산 비용 문제를 해결하기 위해.
• 개별 모델을 별도로 훈련하지 않고도 앙상블 수준의 성능을 달성할 수 있는 방법을 개발하기 위해.
• 기능 피라미드 네트워크에서 유도된 다중 척도 특징을 활용하여 단일 아키텍처 내에서 다양하고 독립적인 디코더를 생성하기 위해.
• 기존 앙상블의 복잡한 다단계 훈련 파이프라인을 피하기 위해 앙상블 프레임워크를 엔드 투 엔드로 훈련할 수 있도록 하기 위해.
• 기본 데이터셋에서 정확도를 향상시키면서도 계산 효율성을 유지하기 위해.

제안 방법

• 프레임워크는 기능 피라미드 네트워크를 사용해 다중 척도 특징을 추출하고, 이를 다수의 독립적인 디코더의 입력으로 사용한다.
• 각 디코더는 별도의 세그멘테이션 예측을 생성하며, 이는 단일 모델 내에서 앙상블를 모방하는 방식이다.
• 최종 예측은 모든 디코더의 출력을 융합하여 도출되며, 일반적으로 투표 또는 평균화 방식을 사용한다.
• 모델 전체가 엔드 투 엔드로 훈련되어 모든 구성 요소가 단계별 정밀조정 없이 공동 최적화될 수 있다.
• 모든 디코더 간의 높은 특징 다양성을 유지하도록 아키텍처가 설계되어 앙상블 일반화 성능을 향상시킨다.
• 모델 딜리게이션 또는 별도의 훈련 단계가 필요 없도록 하여 훈련 및 추론을 단순화한다.

실험 결과

연구 질문

• RQ1 단일 딥러닝 모델이 별도의 다수 모델 훈련 없이도 세그멘테이션에서 앙상블 수준의 성능을 달성할 수 있는가?
• RQ2 다중 척도 특징을 어떻게 효과적으로 활용하여 단일 아키텍처 내에서 다양하고 독립적인 디코더를 생성할 수 있는가?
• RQ3 자기 앙상블 프레임워크의 엔드 투 엔드 훈련이 기존의 다단계 앙상블 훈련에 비해 정확도와 효율성 측면에서 뛰어나게 할 수 있는가?
• RQ4 자기 앙상블 프레임워크는 표준 세그멘테이션 벤치마크에서 어느 정도 성능 향상을 이룰 수 있는가?
• RQ5 제안된 방법은 최신 기술 수준의 성능을 달성하면서도 계산 효율성을 유지하는가?

주요 결과

• 자기 앙상블 프레임워크는 ADE20K 데이터셋에서 최신 기술 수준의 성능을 달성하며 이전 방법들을 능가한다.
• Pascal Context 데이터셋에서 새로운 SOTA 성능을 수립하여 다양한 환경에서의 강력한 일반화 능력을 보여준다.
• COCO-Stuff-10K에서 경쟁 가능한 성능을 달성하여 다양한 데이터셋 분포에 대한 강건성을 보여준다.
• 세 가지 벤치마크에서 모두 기존 방법들을 능가하며, 단일 엔드 투 엔드 단계에서 훈련 가능한 점에서 뛰어난 성능을 발휘한다.
• 개별 모델 훈련이 필요 없어지므로 기존 앙상블 방법에 비해 훈련 비용을 크게 절감한다.
• 공동으로 훈련된 다수의 디코더에서 유도된 예측 융합은 추론 복잡도를 증가시키지 않으면서도 세그멘테이션 정확도를 향상시킨다.