[논문 리뷰] Efficient Self-Ensemble for Semantic Segmentation

Walid Bousselham, Guillaume Thibault외 5명|arXiv (Cornell University)|2021. 11. 26.

Machine Learning and Data Classification인용 수 15

한 줄 요약

이 논문은 단일 모델 내에서 복수의 독립적인 디코더를 훈련하기 위해 기능 피라미드 네트워크(FPN)에서 다중 척도 특징을 활용하는 경량 self-ensemble 방법인 SenFormer을 제안한다. 기존의 앙상블 방법에서 발생하는 높은 훈련 비용을 피하기 위해, 공유된 트랜스포머 기반 디코더와 디코더 간의 가중치 공유를 통해 예측을 평균화함으로써, Pascal Context(64.0 mIoU)와 COCO-Stuff-10K(51.5 mIoU)에서 최신 기준 성능(SOTA)을 달성한다. 이는 FLOPs와 파라미터 수를 줄이며도 성능을 향상시킨다.

ABSTRACT

Ensemble of predictions is known to perform better than individual predictions taken separately. However, for tasks that require heavy computational resources, e.g. semantic segmentation, creating an ensemble of learners that needs to be trained separately is hardly tractable. In this work, we propose to leverage the performance boost offered by ensemble methods to enhance the semantic segmentation, while avoiding the traditional heavy training cost of the ensemble. Our self-ensemble approach takes advantage of the multi-scale features set produced by feature pyramid network methods to feed independent decoders, thus creating an ensemble within a single model. Similar to the ensemble, the final prediction is the aggregation of the prediction made by each learner. In contrast to previous works, our model can be trained end-to-end, alleviating the traditional cumbersome multi-stage training of ensembles. Our self-ensemble approach outperforms the current state-of-the-art on the benchmark datasets Pascal Context and COCO-Stuff-10K for semantic segmentation and is competitive on ADE20K and Cityscapes. Code is publicly available at github.com/WalBouss/SenFormer.

연구 동기 및 목표

• 기존 앙상블 방법에서 다수의 모델을 훈련하는 데 발생하는 높은 계산 비용을 해결하기 위해.
• 단일 모델 내에서 별개의 디코더에 각각 입력으로 사용되는 FPN의 다중 척도 특징을 활용하여 성능을 향상시키기 위해.
• 가중치 공유와 효율적인 아키텍처 설계를 통해 모델 복잡성과 FLOPs를 줄이면서도 정확도를 유지하거나 향상시키기 위해.
• 다중 척도 특징을 통한 self-ensemble이 UperNet와 같은 전통적인 특징 융합 전략보다 우수한 성능을 낼 수 있는지 조사하기 위해.
• 딥 러닝 모델에서 self-ensemble이 예측 분산을 줄이거나 다중 시야 표현을 포착하는 데 효과적인지 평가하기 위해.

제안 방법

• 모델은 백본과 FPN을 한 번의 순방향 전파를 통해 다양한 수준에서 다중 척도 특징 맵을 추출한다.
• FPN의 각 수준의 특징은 별개의 경량 트랜스포머 기반 디코더에 입력되어, 한 모델 내에서 self-ensemble을 형성한다.
• 최종 세그멘테이션 출력은 모든 디코더의 예측을 평균화하여 도출되며, 별도의 훈련 없이 앙상블 성능을 달성한다.
• 모든 디코더에 걸쳐 재귀적으로 적용되는 공유된 트랜스포머 블록을 통해 파라미터 수와 과적합을 줄이고 성능 유지를 유지한다.
• 가중치 공유가 디코더 블록 내부에서만 이루어지며, 디코더 간에는 이루어지지 않아 독립성을 유지하고 일반화 성능을 향상시킨다.
• 모델은 엔드 투 엔드로 훈련되어, 기존 앙상블에서 흔히 볼 수 있는 다단계 훈련이 필요 없어진다.

실험 결과

연구 질문

• RQ1 FPN에서 유도된 다중 척도 특징을 사용하는 self-ensemble 접근법이 다수의 모델을 훈련하지 않아도 세그멘테이션 성능 향상에 기여할 수 있는가?
• RQ2 각 FPN 수준에 대해 별개의 디코더를 사용하는 것이 특징 융합 전략(예: 연결)에 비해 정확도와 효율성 측면에서 뛰어나게 되는가?
• RQ3 디코더 간 가중치 공유가 성능 손실 없이 모델 파라미터와 FLOPs를 줄일 수 있는가?
• RQ4 self-ensemble의 성능 향상 기여 요인이 최근 연구에서 제기한 바와 같이 분산 감소인지, 다중 시야 학습인지 확인할 수 있는가?
• RQ5 각 FPN 수준에 대해 학습자 수를 늘리면 성능 향상이 지속되는가, 아니면 한 개의 학습자만으로도 충분한가?

주요 결과

• SenFormer은 Pascal Context에서 64.0 mIoU를 기록하여 이전 SOTA보다 3.0 mIoU 높은 성능을 달성했다.
• COCO-Stuff-10K에서 SenFormer은 51.5 mIoU를 기록하여 이전 최고 성능을 6.0 mIoU 초월했다.
• 성능이 뛰어난 것과는 달리, UperNet보다 더 적은 파라미터와 FLOPs를 사용하여 더 효율적인 모델이다.
• FPN 수준당 하나 이상의 학습자 수를 늘려도 성능 향상이 없었으며, 각 척도에 하나의 디코더로도 충분함을 시사한다.
• 디코더 간 가중치 공유 시 성능이 심각하게 저하되어, self-ensemble 성공에 있어 모델의 독립성이 핵심임을 확인했다.
• 앙상블에서 예측의 분산이 유의미하게 감소하지 않아, 성능 향상 기여 요인이 분산 감소가 아니라 다른 메커니즘일 가능성이 높음을 시사한다.