[논문 리뷰] Deep Transparent Prediction through Latent Representation Analysis

Dimitrios Kollias, N. Bouas외 7명|arXiv (Cornell University)|2020. 09. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 39

한 줄 요약

혁신적 프레임워크가 학습된 DNN으로부터 잠재 표현을 추출하고 이를 간결한 중심으로 클러스터링하여 투명하고 통합된 예측을 제공하며 파킨슨병, COVID-19 영상 및 소매 포장 품질 검사에 걸친 다원 소스 도메인 적응으로 확장합니다.

ABSTRACT

The paper presents a novel deep learning approach, which extracts latent information from trained Deep Neural Networks (DNNs) and derives concise representations that are analyzed in an effective, unified way for prediction purposes. It is well known that DNNs are capable of analyzing complex data; however, they lack transparency in their decision making, in the sense that it is not straightforward to justify their prediction, or to visualize the features on which the decision was based. Moreover, they generally require large amounts of data in order to learn and become able to adapt to different environments. This makes their use difficult in healthcare, where trust and personalization are key issues. Transparency combined with high prediction accuracy are the targeted goals of the proposed approach. It includes both supervised DNN training and unsupervised learning of latent variables extracted from the trained DNNs. Domain Adaptation from multiple sources is also presented as an extension, where the extracted latent variable representations are used to generate predictions in other, non-annotated, environments. Successful application is illustrated through a large experimental study in various fields: prediction of Parkinson's disease from MRI and DaTScans; prediction of COVID-19 and pneumonia from CT scans and X-rays; optical character verification in retail food packaging.

연구 동기 및 목표

• Healthcare 및 기타 도메인에서 DNN의 투명하고 정확한 예측의 필요성에 대한 동기 부여.
• 학습된 DNN에서 잠재 변수를 추출하고 이를 간결하고 해석 가능한 표현으로 변환하는 방법 개발.
• 잠재 표현을 클러스터링하고 최근접 중심 규칙으로 예측하는 통합 모델 생성.
• 주석이 달리지 않은 다양한 환경에서 예측을 가능하게 하기 위해 다중 소스 도메인 적응으로 approached 확장.
• MRI/DaT스캔으로 파킨슨병 예측, CT/x-선 이미지로 COVID-19 탐지, 식품 포장의 광학 문자 검증에 프레임워크를 시연합니다.

제안 방법

• 이미지 데이터를 이용해 질병 여부를 예측하기 위해 CNN 또는 CNN-RNN을 학습시킵니다.
• 잠재 벡터 v로의 고수준 출력을 마지막 완전 연결층 또는 은닉층에서 추출합니다.
• V_s에 k-평균 클러스터링을 적용하여 L개의 클러스터와 중심 c(i)을 얻어 간결한 표현 C를 형성합니다.
• 새로운 샘플은 C의 가장 가까운 클러스터 중심으로 분류하여 시각적/주석 지원과 함께 효율적이고 투명한 예측을 가능하게 합니다.
• 추가 데이터셋의 V_s 표현에서 새로운 DNN을 학습하고 C와 C'를 합쳐 재앙적 망각을 처리하는 통합 모델로 확장합니다.
• 다중 소스 DA 확장에서는 N 소스 간의 특징 차이(MMD 및 CORAL)와 클래스 차이를 최소화하고 해석 가능성을 위한 CAM 시각화를 제공합니다.

실험 결과

연구 질문

• RQ1 학습된 DNN에서 추출된 잠재 표현을 예측을 위한 간결하고 해석 가능한 표현으로 어떻게 변환할 수 있는가?
• RQ2 잠재 특징을 클러스터링하고 최근접 이웃 결정으로 다중 데이터셋에서 통합적이고 투명한 예측 모델을 구축할 수 있는가?
• RQ3 주석이 된 다수의 출처에서의 도메인 적합이 비주석의 새로운 환경에서의 예측에 얼마나 효과적인가?
• RQ4 결과로 도출된 클러스터 중심 표현이 도메인 전문가에게 얼마나 실행 가능하고 해석 가능한 설명을 제공하는가?
• RQ5 제안된 프레임워크가 파킨슨병 및 COVID-19 탐지 같은 실제 의료 영상 작업 및 광학 문자 검증과 같은 비의료 작업에 미치는 영향은 무엇인가?

주요 결과

Structure	FC	Hidden	Units in FC	Units in Hidden	Accuracy (%)
CNN	2	-	2622-1500	-	94
CNN-RNN	1	2	1500	128-128	98

• 파킨슨병 예측에서 CNN-RNN은 그리스/PPMI DaTscan+MRI 데이터세트에서 정확도 98%를 달성했고, 다섯 개의 클러스터가 C를 구성(두 개의 NPD, 세 개의 PD 진행 중심).
• C와 C'를 합쳐 얻은 통합 표현은 데이터세트 간 적용 시 높은 예측 성능을 유지했습니다(예: PD/NPD 분류 여전히 정확).
• COVID-19 CT 탐지에서는 다섯 개의 클러스터로 32-차 표현에서 전체 F1 = 0.842를 달성(비COVID 0.855, COVID 0.828), 베이스라인 EfficientNet 기반 결과를 상회했습니다.
• 같은 접근법으로 COVID-19 데이터세트와의 흉부 X-레이 융합은 다섯 클러스터에서 F1 = 0.96을 달성하며 유사한 설정에서 이전 네트워크 성능을 능가했습니다.
• 식품 포장의 광학 문자 검증에서 다중 소스 도메인 적응은 정확도를 6포인트 이상 향상시켰습니다(90.53% vs 84.14%).
• 논문은 클러스터 중심을 대표 의료 영상과 전문가 주석에 연결하여 투명한 예측을 시연하고, 신뢰와 주석 기반 검증을 가능하게 합니다.