[논문 리뷰] Cross-Task Consistency Learning Framework for Multi-Task Learning

Akihiro Nakano, Shi Chen외 1명|arXiv (Cornell University)|2021. 11. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 38인용 수 4

한 줄 요약

이 논문은 두 작업 다중학습(MTL)을 위한 교차 작업 일致 학습 프레임워크를 제안하며, 새로운 교차 작업 일치 손실과 정렬 손실을 사용하여 작업 간 예측의 일관성을 강제함으로써 성능을 향상시킵니다. 이 방법은 XTasC-Net로 구현되었으며, 작업별 네트워크 간 예측을 전달함으로써 파arameter 수가 적은데도 불구하고 Cityscapes 및 NYU 데이터셋에서 최고 성능을 기록하며, 특히 깊이 추정과 세분화 분류에서 mIoU 향상과 깊이 오차 감소로 뛰어난 성능을 보입니다.

ABSTRACT

Multi-task learning (MTL) is an active field in deep learning in which we train a model to jointly learn multiple tasks by exploiting relationships between the tasks. It has been shown that MTL helps the model share the learned features between tasks and enhance predictions compared to when learning each task independently. We propose a new learning framework for 2-task MTL problem that uses the predictions of one task as inputs to another network to predict the other task. We define two new loss terms inspired by cycle-consistency loss and contrastive learning, alignment loss and cross-task consistency loss. Both losses are designed to enforce the model to align the predictions of multiple tasks so that the model predicts consistently. We theoretically prove that both losses help the model learn more efficiently and that cross-task consistency loss is better in terms of alignment with the straight-forward predictions. Experimental results also show that our proposed model achieves significant performance on the benchmark Cityscapes and NYU dataset.

연구 동기 및 목표

• 스테레오 또는 전용 데이터 수집에 의존하지 않고 다중학습(MTL)에서 효과적인 작업 관계를 학습하는 데 도전하는 것.
• 세분화 분류와 깊이 추정과 같은 두 관련 작업의 예측 간 일관성을 강제하여 MTL의 일반화 및 효율성을 향상시키는 것.
• 스테레오 및 단안 이미지 데이터셋인 Cityscapes(스테레오)와 NYU(적외선)에 모두 적용 가능한 자기지도 학습 MTL 프레임워크를 개발하는 것.
• 예측 정렬과 모델의 강건성을 향상시키는 데 기여하는 새로운 손실 형식인 교차 작업 일치 손실의 이론적 및 실증적 타당성을 입증하는 것.
• 기존 MTL 방법들과 비교해도 파라미터 효율성이 뛰어나고 벤치마크 데이터셋에서 뛰어난 성능을 보이는지 확인하는 것.

제안 방법

• 사이클-일관성과 대비 학습에 영감을 얻어, 정렬 손실과 교차 작업 일치 손실이라는 두 가지 새로운 손실 항목을 도입합니다.
• 이중 브랜치 아키텍처를 사용합니다: 하나는 입력 이미지에서 직접 예측을 수행하고, 다른 하나는 한 작업의 예측을 다른 작업의 입력으로 사용하여 작업 전이 예측을 수행합니다.
• 교차 작업 일치 손실은 한 작업의 전이된 예측과 다른 작업의 진짜값 간의 손실을 계산하여 작업 간 일관성을 강제합니다.
• 정렬 손실은 잠재 공간 내에서 두 작업의 예측이 정렬되도록 보장하여 공유 표현 학습을 촉진합니다.
• 모델명인 XTasC-Net은 두 작업 모두에 인코더-디코더 네트워크를 사용하며, 교차 예측 전달을 통해 작업 간 관계를 활용합니다.
• 이론적 분석을 통해 교차 작업 일치 손실이 직접 예측을 근사하는 데 정렬 손실보다 우월하며, 작은 값으로 상한선이 존재함을 증명합니다.

실험 결과

연구 질문

• RQ1 자기지도 학습 MTL 프레임워크가 스테레오 데이터가 없는 세분화 분류 및 깊이 추정 작업에서 성능 향상을 이룰 수 있는가?
• RQ2 전이된 예측을 통한 교차 작업 일관성 강제가 모델의 일반화 및 성능에 어떤 영향을 미치는가?
• RQ3 제안된 교차 작업 일치 손실이 작업 관계를 포착하는 데 정렬 손실보다 이론적·실증적으로 뛰어난가?
• RQ4 기존 MTL 모델보다 파라미터 수가 적은데도 불구하고 프레임워크가 최고 성능을 달성할 수 있는가?
• RQ5 이 방법이 스테레오 및 적외선 카메라와 같은 다양한 데이터 수집 방식에 일반화되는가?

주요 결과

• Cityscapes 데이터셋에서 XTasC-Net은 mIoU 30.31과 상대 깊이 오차 0.2235를 기록하여, mIoU 및 상대 오차 모두에서 AdaMT-Net을 포함한 모든 베이스라인을 능가했습니다.
• NYU 데이터셋에서 XTasC-Net은 mIoU 30.31과 절대 깊이 오차 0.5954를 기록했으며, 기본 ST-Net 대비 mIoU가 7.87포인트 향상되고 상대 오차가 0.0288 감소했습니다.
• XTasC-Net은 Cityscapes 및 NYU 데이터셋 모두에서 최고 성능을 기록했으며, 세분화 mIoU 향상과 깊이 추정 정확도 향상에서 뚜렷한 개선을 보였습니다.
• 교차 작업 일치 손실은 직접 예측을 근사하는 데 정렬 손실보다 이론적으로 열등하지 않으며, 작은 값으로 상한선이 존재함을 입증했습니다.
• 이 방법은 파라미터 효율적이며, 기존 자기지도 학습 MTL 방법이 스테레오 쌍이 필요로 하는 것과 달리 스테레오 및 단안 데이터셋 모두에 적용 가능합니다.
• Cityscapes에서의 정성적 결과는 모델이 더 대비가 뚜렷한 깊이 예측을 생성함을 보여주었으며, 이는 세분화에서 깊이 예측으로의 정보 전달 덕분일 것입니다.