[논문 리뷰] Label Encoding for Regression Networks

Deval Shah, Zi Yu Xue외 1명|arXiv (Cornell University)|2022. 12. 04.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 회귀를 다비트 이진 분류로 재구성하여 정확도를 향상시키는 새로운 프레임워크인 이진 인코딩 레이블(BEL)을 소개한다. 실수값 타깃을 이진 코드로 양자화하고 M개의 이진 분류기들을 훈련시킴으로써, 헤드 포즈 추정, 얼굴 랜드마크 검출, 연령 추정, 엔드 투 엔드 자율 주행 등 다양한 회귀 과제에서 직접 회귀 및 전용 방법보다 우수한 최신 기술 성능을 달성한다. 이는 표준 기능 추출기와 엔드 투 엔드 훈련과도 호환된다.

ABSTRACT

Deep neural networks are used for a wide range of regression problems. However, there exists a significant gap in accuracy between specialized approaches and generic direct regression in which a network is trained by minimizing the squared or absolute error of output labels. Prior work has shown that solving a regression problem with a set of binary classifiers can improve accuracy by utilizing well-studied binary classification algorithms. We introduce binary-encoded labels (BEL), which generalizes the application of binary classification to regression by providing a framework for considering arbitrary multi-bit values when encoding target values. We identify desirable properties of suitable encoding and decoding functions used for the conversion between real-valued and binary-encoded labels based on theoretical and empirical study. These properties highlight a tradeoff between classification error probability and error-correction capabilities of label encodings. BEL can be combined with off-the-shelf task-specific feature extractors and trained end-to-end. We propose a series of sample encoding, decoding, and training loss functions for BEL and demonstrate they result in lower error than direct regression and specialized approaches while being suitable for a diverse set of regression problems, network architectures, and evaluation metrics. BEL achieves state-of-the-art accuracies for several regression benchmarks. Code is available at https://github.com/ubc-aamodt-group/BEL_regression.

연구 동기 및 목표

• 딥 러닝에서 일반적인 직접 회귀 모델과 전용 회귀 모델 간의 상당한 정확도 격차를 해결한다.
• 다양한 과제에 걸쳐 정확도를 향상시킬 수 있는 일반적인 프레임워크를 개발하여 이진 분류를 회귀로 일반화한다.
• 레이블 표현에서 오차 확률과 오류 수정 능력을 균형 있게 유지하기 위해 인코딩 및 디코딩 함수의 바람직한 성질을 규명하고 수식화한다.
• 상용 기능 추출기와 함께 엔드 투 엔드 훈련을 가능하게 하면서도, 이진 분류기 간의 상관관계를 활용해 모델 파라미터 수를 줄인다.
• 다양한 회귀 벤치마크에서 초과 성능을 입증한다. 대표적으로 연령 추정, 얼굴 랜드마크 검출, 자율 주행 등이다.

제안 방법

• 연속적인 타깃 값을 M비트 이진 코드로 양자화하여 M개의 이진 분류기를 훈련시키는 이진 인코딩 레이블(BEL) 프레임워크를 제안한다.
• 실수값 레이블을 이진 코드로 매핑하는 인코딩 함수와 분류기 출력에서 실수값 예측을 복원하는 디코딩 함수를 도입한다.
• 양자화 오차를 최소화하고 회귀 정확도를 향상시키기 위해 상관관계 기반의 디코딩 함수를 설계한다.
• 이진 교차 엔트로피, 교차 엔트로피 또는 L1/L2 손실을 이진 출력에 적용하여 엔드 투 엔드 최적화를 가능하게 하는 훈련 손실을 수식화한다.
• 이진 분류기 출력 간의 상관관계를 활용하여 회귀 모델의 파라미터 수를 줄이고 효율성을 향상시킨다.
• 특수 과제용 기능 추출기(예: ResNet, VGG, PilotNet)와 함께 BEL을 결합하고 표준 딥 러닝 파이프라인을 사용해 엔드 투 엔드 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 특수 순서형 또는 다중 클래스 접근 방식을 초월하여 이진 분류를 어떻게 일반화시켜 회귀 과제의 정확도를 향상시킬 수 있는가?
• RQ2 오차 확률과 오류 수정 능력을 균형 있게 유지하면서도 회귀 오차를 최소화하는 데 가장 효과적인 인코딩 및 디코딩 함수의 성질은 무엇인가?
• RQ3 다수의 이진 분류기 출력 간의 상관관계를 얼마나 효과적으로 활용할 수 있는가? 이는 정확도를 유지하면서 모델 복잡도를 줄이는 데 기여하는가?
• RQ4 MAE 및 커버리지 스코어 측면에서 BEL은 직접 회귀 및 과제에 특화된 모델과 비교해 다양한 회귀 벤치마크에서 얼마나 뛰어난 성능을 보이는가?
• RQ5 다양한 아키텍처와 데이터셋에서 다양한 손실 함수(이진 교차 엔트로피, 교차 엔트로피, L1/L2)가 BEL의 성능에 어떤 영향을 미치는가?

주요 결과

• MORPH-II 데이터셋에서 BEL은 ResNet50를 사용한 직접 회귀의 2.44 ± 0.01과 비교해 MAE를 2.27 ± 0.01로 감소시켜 최신 기술 성능을 달성했다.
• AFAD 데이터셋에서 BEL은 MAE 3.11 ± 0.01을 기록했으며, 직접 회귀(3.21 ± 0.02)와 OR-CNN, CORAL-CNN 등의 전용 모델보다 뛰어났다.
• 엔드 투 엔드 자율 주행 과제에서 BEL은 PilotNet 아키텍처를 사용해 MAE를 3.11 ± 0.01로 줄였고, 베이스라인의 4.24 ± 0.45보다 우수했다.
• 제안된 기대 상관관계 기반 디코딩 함수는 모든 과제에서 양자화 오차를 효과적으로 줄이고 예측 정확도를 향상시켰다.
• BEL은 ResNet, VGG, PilotNet 등 다양한 아키텍처와 MAE, 커버리지 스코어 등 다양한 평가 지표에서 일관된 성능 향상을 보이며 광범위한 적용 가능성을 입증했다.
• 이진 분류기 출력 간의 상관관계를 활용함으로써 모델의 파라미터 수를 줄일 수 있어 실시간 응용 분야에 효율적이다.