[논문 리뷰] Learning with Hierarchical Complement Objective

Haoyun Chen, Li-Huang Tsai외 5명|arXiv (Cornell University)|2019. 11. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 4

한 줄 요약

이 논문은 레이블 계층을 시각 작업에서 공동으로 최대화함으로써 지도 학습의 성능을 향상시키는 새로운 훈련 목표인 계층적 보완 목적 함수(HCOT)를 제안한다. 이는 정답 클래스의 확률을 최대화하고 잘못된 클래스를 계층적으로 중립화함으로써 이루어지며, CIFAR-100, ImageNet-2012, PASCAL-Context에서 교차 엔트로피와 COT보다 뛰어난 성능을 보이며 이미지 분류 및 세분화 작업에서 최신 기술 수준을 달성한다.

ABSTRACT

Label hierarchies widely exist in many vision-related problems, ranging from explicit label hierarchies existed in image classification to latent label hierarchies existed in semantic segmentation. Nevertheless, state-of-the-art methods often deploy cross-entropy loss that implicitly assumes class labels to be exclusive and thus independence from each other. Motivated by the fact that classes from the same parental category usually share certain similarity, we design a new training diagram called Hierarchical Complement Objective Training (HCOT) that leverages the information from label hierarchy. HCOT maximizes the probability of the ground truth class, and at the same time, neutralizes the probabilities of rest of the classes in a hierarchical fashion, making the model take advantage of the label hierarchy explicitly. The proposed HCOT is evaluated on both image classification and semantic segmentation tasks. Experimental results confirm that HCOT outperforms state-of-the-art models in CIFAR-100, ImageNet-2012, and PASCAL-Context. The study further demonstrates that HCOT can be applied on tasks with latent label hierarchies, which is a common characteristic in many machine learning tasks.

연구 동기 및 목표

• 교차 엔트로피 손실이 클래스 간 독립성을 가정하기 때문에 계층적 레이블 구조를 모델링하는 데 한계가 있음을 해결하기 위해.
• 특히 명시적 또는 암묵적 계층이 존재하는 작업에서 훈련 중에 레이블 계층을 명시적으로 통합함으로써 모델 일반화 능력을 향상시키기 위해.
• 정답 클래스로부터의 계층적 거리에 따라 잘못된 클래스에 대한 페널티를 적용하는 훈련 목표를 설계하기 위해.
• HCOT이 다양한 시각 작업, 특히 이미지 분류 및 세분화 작업에서 효과적인지 입증하기 위해.
• 암묵적 계층 구조가 존재하는 작업, 예를 들어 세분화 작업에 대해도 HCOT가 명시적 계층 레이블이 없이도 적용 가능함을 보여주기 위해.

제안 방법

• HCOT는 세부 수준과 개괄 수준의 카테고리에서 보완 학습을 적용하는 새로운 보완 목표인 계층적 보완 엔트로피를 도입한다.
• 메서드는 정답 클래스의 예측 확률을 최대화하면서 동시에 잘못된 클래스의 확률을 계층적으로 중립화한다.
• 정답 클래스와 같은 개괄 수준 카테고리에 속하는 클래스는 다른 분지에 있는 클래스보다 덜 페널티를 받는다.
• 기본 교차 엔트로피 손실과 계층적 보완 엔트로피 손실을 조합하여 최소한의 계산 오버헤드로 공동 최적화를 가능하게 한다.
• 모델 아키텍처의 변경 없이도 분류 및 세분화 모델 전반에 걸쳐 종단 간(end-to-end)으로 적용된다.
• HCOT는 CIFAR-100, ImageNet-2012, PASCAL-Context에서 표준 평가 지표인 정확도, mIoU, 픽셀 정확도를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 명시적인 레이블 계층을 모델링하는 훈련 목표가 계층적 레이블이 있는 이미지 분류 작업에서 성능 향상에 기여하는가?
• RQ2 표준 벤치마크에서 교차 엔트로피와 COT에 비해 HCOT의 정확도와 내성적 안정성은 어떻게 비교되는가?
• RQ3 암묵적 레이블 계층이 존재하는 작업, 예를 들어 세분화 작업에서 HCOT가 효과적으로 잠재된 레이블 계층을 활용할 수 있는가?
• RQ4 정답 클래스로부터의 계층적 거리에 따라 다르게 적용되는 페널티가 더 나은 일반화 능력과 더 체계적인 예측을 이끌어내는가?
• RQ5 HCOT는 아키텍처 수정 없이 최신 기술 수준의 모델과 훈련 파ip라인에 호환되는가?

주요 결과

• Pre액트 ResNet-18를 사용하여 CIFAR-100에서 HCOT는 88.4%의 정확도를 기록했으며, 교차 엔트로피(87.1%)와 COT(87.8%)를 모두 초월했다.
• ResNet-50를 사용한 ImageNet-2012에서 HCOT는 교차 엔트로피보다 0.6% 높은 정확도를 기록했고, COT보다 0.4% 높았다.
• PASCAL-Context에서 EncNet을 사용할 경우 mIoU가 49.86%였고, EncNet+JPU를 사용할 경우 51.35%였으며, 양자 모두 교차 엔트로피와 COT를 뛰어넘었다.
• 시각화 결과, HCOT가 생성한 세그먼테이션 결과는 교차 엔트로피와 COT에 비해 더 덜 분할되고 노이즈 아티팩트가 적었다.
• 다양한 백본 아키텍처와 훈련 전략을 통해 HCOT의 성능 향상 효과는 일관되게 나타났으며, 이는 광범위한 적용 가능성을 시사한다.
• HCOT는 레이블 공간 내 계층적 관계를 모델링함으로써 예측 신뢰도를 향상시키고 진짜 데이터 분포와의 일치도를 높임을 입증했다.