[논문 리뷰] Unsupervised Category Discovery via Looped Deep Pseudo-Task Optimization Using a Large Scale Radiology Image Database

Xiaosong Wang, Le Lü외 5명|arXiv (Cornell University)|2016. 03. 25.

Radiomics and Machine Learning in Medical Imaging참고 문헌 51인용 수 11

한 줄 요약

이 논문은 대규모 영상의학 영상에서 비지도 학습을 통한 카테고리 발견을 위해 루프형 딥 가짜작업 최적화(LDPO)를 제안한다. 이는 클러스터링을 통한 가짜 레이블 생성과 이러한 레이블을 기반으로 한 CNN의 미세조정을 번갈아가며 반복적으로 수행함으로써 시각적으로 일관되고 임상적으로 의미 있는 카테고리로 향상시키는 자기지도 학습 프레임워크이다. 이로 인해 270개 클래스에서 81.09%의 Top-1 정확도를 달성하였으며, 이는 이전의 작업보다 뚜렷이 뛰어나다.

ABSTRACT

Obtaining semantic labels on a large scale radiology image database (215,786 key images from 61,845 unique patients) is a prerequisite yet bottleneck to train highly effective deep convolutional neural network (CNN) models for image recognition. Nevertheless, conventional methods for collecting image labels (e.g., Google search followed by crowd-sourcing) are not applicable due to the formidable difficulties of medical annotation tasks for those who are not clinically trained. This type of image labeling task remains non-trivial even for radiologists due to uncertainty and possible drastic inter-observer variation or inconsistency. In this paper, we present a looped deep pseudo-task optimization procedure for automatic category discovery of visually coherent and clinically semantic (concept) clusters. Our system can be initialized by domain-specific (CNN trained on radiology images and text report derived labels) or generic (ImageNet based) CNN models. Afterwards, a sequence of pseudo-tasks are exploited by the looped deep image feature clustering (to refine image labels) and deep CNN training/classification using new labels (to obtain more task representative deep features). Our method is conceptually simple and based on the hypothesized "convergence" of better labels leading to better trained CNN models which in turn feed more effective deep image features to facilitate more meaningful clustering/labels. We have empirically validated the convergence and demonstrated promising quantitative and qualitative results. Category labels of significantly higher quality than those in previous work are discovered. This allows for further investigation of the hierarchical semantic nature of the given large-scale radiology image database.

연구 동기 및 목표

• 영상의학 영상 데이터베이스에서 대규모이고 고품질의 의미적 레이블이 부족한 문제를 해결하기 위해.
• 이전 연구에서 영상의학 보고서를 기반으로 한 텍스트 중심 클러스터링의 한계(불균형, 낮은 시각적 일관성 등)를 극복하기 위해.
• 인간의 레이블 없이도 시각적으로 일관되고 임상적으로 관련성이 높은 이미지 카테고리를 자동으로 발견할 수 있는 자기지도 학습 방법을 개발하기 위해.
• 가짜 레이블과 딥 특징의 반복적 개선이 더 정확하고 의미 있는 카테고리 발견으로 수렴하는가를 검증하기 위해.

제안 방법

• LDPO는 가짜 레이블을 사용한 딥 CNN 미세조정과 업데이트된 딥 특징을 기반으로 한 이미지 클러스터링을 번갈아가며 수행하는 루프형 최적화 과정을 사용한다.
• 이 방법은 도메인 특화(영상의학에 훈련된) 또는 일반적인(ImageNet 미리 훈련된) CNN을 초기화하여 초기 딥 특징을 추출한다.
• 딥 특징에 대해 k-means를 사용하여 클러스터링을 수행함으로써 다음 훈련 반복에 사용할 가짜 레이블을 생성한다.
• 분류와 클러스터링 간의 피드백을 통해 CNN의 분류 능력과 이미지 클러스터의 품질을 반복적으로 개선한다.
• 더 나은 레이블이 더 나은 특징을 만들어내고, 더 나은 특징이 더 나은 클러스터링을 이끌어내는 가설을 활용하여 수렴하는 루프를 형성한다.
• 의사결정 매트릭스 기반의 유사도 전파를 사용하여 계층적 카테고리 트리를 구성함으로써 발견된 클러스터의 의미론적 정렬을 가능하게 한다.

실험 결과

연구 질문

• RQ1 반복적인 가짜작업 최적화가 대규모 영상의학 영상에서 비지도 학습 카테고리 발견의 품질을 향상시킬 수 있는가?
• RQ2 가짜 레이블과 딥 특징의 루프형 개선이 더 정확하고 시각적으로 일관된 클러스터로 수렴하는가?
• RQ3 시각적 일관성과 분류 성능 측면에서 LDPO는 텍스트 중심 클러스터링 방법보다 어떻게 비교되는가?
• RQ4 LDPO는 이전의 접근 방식보다 더 많은 수의 의미 있는 카테고리를 더 높은 의미론적 및 임상적 관련성으로 발견할 수 있는가?

주요 결과

• LDPO는 AlexNet-FC7-Topic를 사용하여 270개의 발견된 이미지 카테고리에서 Top-1 정확도 81.09%와 Top-5 정확도 94.12%를 달성하였으며, 이는 이전의 텍스트 중심 방법이 80개 클래스에서 달성한 60.72%의 Top-1 정확도를 크게 뛰어넘는 성능이다.
• AlexNet-FC7-ImageNet 버전은 275개의 클래스에서 Top-1 정확도 80.99%와 Top-5 정확도 95.47%를 기록하여 더 많은 클래스에서 뛰어난 성능을 보였다.
• 영상의학 전문의의 주관적 평가에서 AlexNet-FC7-Topic(270개 클래스) 및 AlexNet-FC7-ImageNet(275개 클래스) 모델이 선호되었으며, 이는 발견된 클러스터의 임상적 관련성을 확인한다.
• Texture-25 데이터셋에서 LDPO의 순도는 6회의 반복 동안 53.9%에서 66.1%로 증가하여 루프형 최적화 과정의 수렴을 확인한다.
• 이 프레임워크는 (270, 64, 15, 4, 1) 계층 수준을 가진 계층적 카테고리 트리를 생성하였으며, 발견된 클러스터의 의미론적 구조를 검증한다.
• 이 프레임워크는 수작업으로 만든 특징이나 순서 없는 인코딩 방식(예: FV, VLAD)이 필요 없으며, 전체 이미지 레이아웃 정보를 유지한다.