[논문 리뷰] Harmonization and the Worst Scanner Syndrome

Daniel Moyer, Polina Golland|arXiv (Cornell University)|2021. 01. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 13인용 수 5

한 줄 요약

이 논문은 영역 불변 의료 영상 분석 방법의 근본적 한계를 규명하며, 스캐너/사이트 변수에 대한 불변성을 강제하는 조정 기법이 예측 성능을 반드시 제한함을 보여준다—특히 정보가 가장 적은 스캐너가 정보 한계를 결정할 때 더욱 그렇다. 핵심 결과는 불변 예측기의 성능은 가장 약한 도메인에서 가용한 상호정보량에 의해 제한되며, 이는 '가장 나쁜 스캐너 증후군'으로 이어져 모델 정확도가 가장 노이즈가 많거나 정보가 가장 적은 스캐너에 의해 제한됨을 의미한다.

ABSTRACT

We show that for a wide class of harmonization/domain-invariance schemes several undesirable properties are unavoidable. If a predictive machine is made invariant to a set of domains, the accuracy of the output predictions (as measured by mutual information) is limited by the domain with the least amount of information to begin with. If a real label value is highly informative about the source domain, it cannot be accurately predicted by an invariant predictor. These results are simple and intuitive, but we believe that it is beneficial to state them for medical imaging harmonization.

연구 동기 및 목표

• 의료 영상에서 광범위한 영역 불변(조정) 방법의 이론적 한계를 분석하기.
• 스캐너/사이트 변수에 대한 불변성이 예측 능력을 본질적으로 제한함을 규명하며, 특히 일부 도메인이 최소한의 정보를 포함할 경우 더욱 그렇다.
• 특정 레이블이 특정 스캐너에서만 관측될 경우, 불변 예측기가 그 레이블을 정확히 예측할 수 없으며, 이는 불변성 조건을 위반하기 때문에 가능하지 않음을 보여주기.
• 연구자들이 영역 불변성이 강건성 또는 최적의 성능을 보장한다고 가정하는 것에 대해 경고하며, 특히 분포 이탈이 발생하는 실제 의료 영상 환경에서 그러한 가정이 위험함을 강조하기.
• IR-DPI 방법의 성능 기대치를 설정하기 위해 피할 수 없는 오류 유형과 성능 상충 관계를 부각함으로써, 기대치를 명확히 하기.

제안 방법

• 중간 표현 $\mathcal{Z}$ 를 통해 스캐너/사이트 변수와의 상호정보량 $I(z,s)$ 를 최소화함으로써 불변성을 강제하는, 불변 표현-자료 처리 부등식(IR-DPI)으로 불리는 방법의 일군을 중심으로 다룸.
• 자료 처리 부등식을 사용하여 $I(y,\hat{y}) \leq I(y,z)$ 를 도출하고, 이를 모든 사이트 $s'$ 에서의 최소값 $I(y,x|s=s')$ 로 추가로 경계함.
• 정보 이론적 제약 조건 적용: $I(z,s) = 0$ 이면 표현 $z$ 는 스캐너에 대한 정보를 지니지 않으며, 이는 영역 불변성을 강제함.
• 모순을 통한 증명: 레이블 $y'$ 가 오직 한 개의 스캐너 $s'$ 에서만 관측될 경우, 불변 예측기가 $y'$ 를 정확히 예측하기 위해서는 $z$ 에 스캐너 정보를 도입해야 하며, 이는 불변성 조건을 위반함.
• 스캐너 간 이미지 변환을 통해 '사이트 없는' 이미지를 생성하는 생성적 조정 방법을 고려하며, 이는 이론적으로 문제되고 실용적으로 불가능함을 주장함.
• 엄격한 IR-DPI 제약 조건보다는 데이터 증강이나 불변성 초월한 도메인 일반화 전략과 같은 대안적 접근 방식이 더 나은 성능 상충 관계를 제공할 수 있음을 제안함.

실험 결과

연구 질문

• RQ1 의료 영상 분석에서 영역 불변 예측기의 근본적 정보 이론적 한계는 무엇인가?
• RQ2 스캐너 변수에 대한 불변성을 강제할 경우, 예측과 진짜 레이블 간의 상호정보량은 어떻게 제약을 받는가?
• RQ3 특정 스캐너에서만 존재하는 레이블을 정확히 예측하면서도 스캐너에 대해 불변성을 유지할 수 있는가?
• RQ4 정보가 가장 적은 스캐너가 불변 모델의 정보 한계를 지배할 경우, 예측 성능은 어떻게 변화하는가?
• RQ5 IR-DPI 방법 외에 희귀하거나 특정 사이트에만 존재하는 레이블의 정확도를 희생시키지 않고도 강건성을 확보할 수 있는 대안 전략은 존재하는가?

주요 결과

• 모든 IR-DPI 방법이 $I(z,s) = 0$ 을 강제할 경우, 예측 $\hat{y}$ 와 진짜 레이블 $y$ 간의 상호정보량은 모든 스캐너 $s'$ 에서의 최소값 $I(y,x|s=s')$ 로 경계되며, 이는 가장 약한 도메인이 성능을 결정함을 의미한다.
• 레이블 $y'$ 가 오직 한 개의 스캐너 $s'$ 에서만 관측될 경우, 불변 예측기는 $z$ 에 스캐너 정보를 도입하지 않으면서도 $y'$ 를 정확히 예측할 수 없으며, 이는 불변성 조건을 위반함.
• 조금이라도 $I(z,s) > 0$ 이더라도, 특정 스캐너와 강하게 연관된 레이블에 대한 정확도는 반드시 감소하며, 이는 불변성과 예측 정밀도 사이의 상충 관계 때문임.
• 표현 압축을 통해 불변성을 강제하는 조정 방법은 본질적으로 정보를 감소시키며, 이는 정보가 가장 적은 스캐너에 의해 결정되는 성능의 상한선을 초래함.
• 이론적 경계는 어떤 모델 용량이나 학습 데이터 크기와 상관없이, IR-DPI 방법이 가장 약한 도메인의 정보량을 초월할 수 없음을 보여줌.
• 논문은 IR-DPI 방법이 스캐너 아티팩트에 대한 과적합을 방지할 수는 있지만, 특히 희귀하거나 특정 사이트에만 존재하는 병변의 임상적 신호를 억압할 수 있음을 경고함.