[논문 리뷰] Learning multiple non-mutually-exclusive tasks for improved classification of inherently ordered labels

Vadim Ratner, Yoel Shoshan외 1명|arXiv (Cornell University)|2018. 05. 30.

Image Retrieval and Classification Techniques참고 문헌 2인용 수 5

한 줄 요약

이 논문은 본질적으로 순서가 있는 레이블(예: BIRADS)을 가진 의료 영상 분류를 위한 다중 상호배타적이지 않은 작업 학습 프레임워크를 제안한다. 여기서 다수의 임계값 기반 이진 작업이 동시에 학습된다. 특히 클래스 균형이 우수한 작업들 간의 공유 표현을 활용함으로써, 어려운 불균형 작업에서 분류 성능을 크게 향상시키며, 단일 작업 모델 대비 95%의 진성 양성률에서 거의 두 배에 가까운 진성 음성률을 달성한다.

ABSTRACT

Medical image classification involves thresholding of labels that represent malignancy risk levels. Usually, a task defines a single threshold, and when developing computer-aided diagnosis tools, a single network is trained per such threshold, e.g. as screening out healthy (very low risk) patients to leave possibly sick ones for further analysis (low threshold), or trying to find malignant cases among those marked as non-risk by the radiologist ("second reading", high threshold). We propose a way to rephrase the classification problem in a manner that yields several problems (corresponding to different thresholds) to be solved simultaneously. This allows the use of Multiple Task Learning (MTL) methods, significantly improving the performance of the original classifier, by facilitating effective extraction of information from existing data.

연구 동기 및 목표

• 본질적으로 순서가 있는 진단 레이블(예: BIRADS)을 가진 의료 영상 분류에서의 클래스 불균형과 레이블 모호성 문제를 해결하기 위해.
• 매우 불균형한 데이터로 인해 어려운 작업(예: BIRADS 1–3 대비 4–5)에서 성능 저하가 발생하는 문제를 개선하기 위해.
• 의료 레이블의 순서적 성격을 활용하여, 단일 레이블 공간에서 다수의 상호배타적이지 않은 이진 작업을 정의하기 위해.
• 이 유도된 작업들 간의 다중 작업 학습이 개별 작업이 균형이 깨진 경우에도 모델의 일반화 능력과 강건성을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 논문은 순서형 레이블 공간에 다양한 임계값을 적용하여 다수의 이진 분류 작업을 정의한다(예: BIRADS 1 대비 2–5, 1–2 대비 3–5, 1–3 대비 4–5).
• 모든 작업에 대해 공유되는 깊이 신경망 아키텍처를 사용하며, 각 출력 헤드는 하나의 임계값 기반 작업에 대응하여 파rameter 공유와 동시 최적화를 가능하게 한다.
• 각 출력 헤드에 대해 이진 교차 엔트로피 손실를 별도로 적용하고, 학습 중에 손실를 작업 간 평균화한다.
• 모델은 각 이미지에 단일 BIRADS 값만 할당된 약한 레이블 데이터에서 엔드 투 엔드로 학습되며, 다수의 작업은 이 레이블에서 파생된다.
• 이 방법은 일부 하위 작업에서 더 균형 잡힌 데이터 분할을 경험함으로써 네트워크가 더 강건한 표현을 학습하도록 돕는다.
• 비교를 위해 BIRADS 값 1, 2, 3 및 4–5에 대한 네 출력의 one-hot 분류기로 된 추론 실험도 포함되어 있다.

실험 결과

연구 질문

• RQ1 다수의 상호배타적이지 않은 임계값 기반 작업을 동시에 학습하는 것이 본질적으로 순서가 있는 의료 영상 레이블의 분류 성능을 향상시키는가?
• RQ2 다중 작업 학습이 BIRADS 1–3 대비 4–5와 같이 어려운 불균형 작업에서의 성능 저하를 완화하는가?
• RQ3 다중 작업 모델의 성능은 개별 임계값에 대해 학습된 단일 작업 모델과 비교해 어떻게 다른가?
• RQ4 더 균형 잡힌 하위 작업에서의 학습이 저자료 환경에서 일반화 능력을 얼마나 향상시키는가?
• RQ5 특히 평가자 간의 일치도가 낮은 상황에서, 순서형 레이블의 직접 one-hot 분류보다 제안된 방법이 더 우수한가?

주요 결과

• BIRADS 1–3 대비 4–5 작업에서 다중 작업 모델은 단일 작업 분류기 대비 진성 음성률(TNR)을 거의 두 배로 높였다. 이는 진성 양성률(TPR)이 0.95일 때 성립한다.
• BIRADS 1–2 대비 3–5 작업에서도 다중 작업 접근법이 단일 작업 모델을 뚜렷이 능가했으며, TPR = 0.95일 때 TNR 향상이 두드러졌다.
• BIRADS 1 대비 2–5 작업는 가장 쉬운 작업이었고, 단일 작업 및 다중 작업 모델 모두 유사한 성능을 보여, 이미 균형 잡힌 작업에서는 추가적인 성능 향상이 거의 없음을 시사한다.
• 직접 one-hot으로 BIRADS를 분류한 모델은 모든 작업에서 가장 열악한 성능을 보였으며, 이는 중간 수준 레이블(예: BIRADS 3)에서 평가자 간 높은 불일치도 때문일 것이다.
• 성능 향상의 이유는 다중 작업 설정이 하위 작업에서 더 균형 잡힌 데이터 분할에 노출되도록 함으로써 더 나은 표현 학습을 가능하게 하기 때문이다.
• 이 방법은 효과적으로 커리큘럼 학습과 유사한 방식으로 작동한다. 더 쉬운 하위 작업(더 좋은 균형)이 네트워크를 훈련시키며, 그로 인해 더 어려운 불균형 작업으로의 일반화 능력이 향상된다.