[논문 리뷰] HS3: Learning with Proper Task Complexity in Hierarchically Supervised Semantic Segmentation

Shubhankar Borse, Hong Cai외 2명|arXiv (Cornell University)|2021. 11. 03.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

HS3는 중간 레이어의 표현 능력에 맞게 작업 복잡도를 조정하는 계층적 감독 체계를 제안한다. 이는 의미 클래스를 점차 작아지는 집합으로 군집화함으로써 이루어지며, 복잡도가 낮은 작업으로 훈련하고 HS3-Fuse를 통해 계층적 특징을 융합함으로써 추론 비용 없이 Cityscapes와 NYUD-v2에서 최신 기준 성능을 달성한다. 이는 깊이 감독 및 수작업 군집화 방법을 능가한다.

ABSTRACT

While deeply supervised networks are common in recent literature, they typically impose the same learning objective on all transitional layers despite their varying representation powers. In this paper, we propose Hierarchically Supervised Semantic Segmentation (HS3), a training scheme that supervises intermediate layers in a segmentation network to learn meaningful representations by varying task complexity. To enforce a consistent performance vs. complexity trade-off throughout the network, we derive various sets of class clusters to supervise each transitional layer of the network. Furthermore, we devise a fusion framework, HS3-Fuse, to aggregate the hierarchical features generated by these layers, which can provide rich semantic contexts and further enhance the final segmentation. Extensive experiments show that our proposed HS3 scheme considerably outperforms vanilla deep supervision with no added inference cost. Our proposed HS3-Fuse framework further improves segmentation predictions and achieves state-of-the-art results on two large segmentation benchmarks: NYUD-v2 and Cityscapes.

연구 동기 및 목표

• 깊이 감독의 한계를 해결하기 위해, 모든 중간 레이어에 동일하고 높은 복잡도의 작업을 강제로 부여하는 문제를 해결한다.
• 중간 레이어가 실제 학습 능력에 맞는 감독 작업 복잡도를 갖도록 함으로써 의미 있는 특징을 학습할 수 있도록 한다.
• 기본 훈련 단계에서 수집한 오차 행렬을 기반으로, 각 레이어에 최적의 클래스 군집 수를 자동으로 결정하는 원리적인 방법을 개발한다.
• 다양한 감독된 중간 레이어에서 유래한 계층적 특징을 활용하여 최종 예측을 풍부하게 하는 HS3-Fuse라는 특징 융합 프레임워크를 설계한다.
• 적절한 작업 복잡도를 갖춘 감독이 추론 비용 증가 없이도 분할 정확도를 향상시킬 수 있음을 입증한다.

제안 방법

• 이 방법은 두 단계 훈련 프로세스를 사용한다: 첫째, 오차 행렬을 수집하기 위해 깊이 감독 기반 모델을 훈련한다. 둘째, 이를 바탕으로 유사도를 기반으로 클래스에 대해 계층적 군집화를 수행한다.
• 성능-복잡도 균형을 조절하는 트레이드오프 파라미터 θ가 존재하며, 각 레이어의 능력에 맞게 최적의 θ는 경험적 분 析를 통해 도출된다.
• 클래스 군집은 초기 레이어는 적은 수의 더러운 클래스로, 더 깊은 레이어는 더 복잡하고 세분화된 분할 작업을 처리하도록 구성된다.
• HS3-Fuse 프레임워크는 각 감독된 중간 레이어의 특징을 처리하기 위해 경량 OCR 모듈을 사용하고, 이를 융합하여 최종 예측에 계층적 의미적 맥락을 추가한다.
• 클래스 임bedding에 의존하지 않기 때문에, OCR 모듈이 없는 네트워크에도 적용 가능한, 오차 행렬에 기반한 스펙트럴 군집화를 사용한다.
• 최종 모델은 추론 비용 증가 없이 계층적 감독과 특징 융합을 통합하여 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 깊이 분할 네트워크의 중간 레이어가 표현 능력에 맞게 감독 작업 복잡도를 조정함으로써 더 의미 있는 표현을 학습할 수 있는가?
• RQ2 분할 네트워크의 각 중간 레이어에서 성능과 작업 복잡도 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 자동으로 유도된 클래스 군집을 사용한 계층적 감독은 수작업 군집화나 표준 깊이 감독보다 어떻게 비교되는가?
• RQ4 다양한 감독된 레이어에서 유래한 계층적 특징을 활용하는 융합 프레임워크가 분할 정확도를 추가로 향상시킬 수 있는가?
• RQ5 적응형 감독과 특징 융합을 통해 추론 비용 증가 없이 최신 기준 성능을 달성하는 것이 가능한가?

주요 결과

• HRNetv2-w18-OCR를 사용하여 NYUD-v2에서 HS3는 최적의 트레이드오프 파라미터 θ = 80°를 사용해 41.8%의 mIoU를 달성했고, 제안된 자동 방법을 사용할 경우 θ = 76°로 거의 최적의 41.7% mIoU를 기록했다.
• Cityscapes에서 스펙트럴 군집화를 사용한 HS3는 78.1% mIoU를 기록하여 깊이 감독(77.7%)과 수작업 군집화(77.9%)를 모두 능가했다.
• HS3-Fuse 프레임워크는 Cityscapes에서 85.7% mIoU와 71.7% iIoU를 기록하여 라이브 벤치마크에서 새로운 최신 기준 성능을 수립했다.
• 스펙트럴 군집화는 수작업 할당을 능가하고 k-means와 유사한 성능를 보였으며, 클래스 임베딩이 아닌 오차 행렬만 필요로 하여 일반화 능력이 향상되었다.
• 제거 분석 결과, 과도하게 복잡한(θ = 0°) 또는 과도하게 단순한(θ = 90°) 작업은 성능을 떨어뜨리며, 균형 잡힌 작업 복잡도의 중요성을 입증했다.
• 융합과 감독가 모두 훈련 단계에서만 통합되기 때문에, 추론 비용 증가 없이도 분할 정확도가 향상된다.