[논문 리뷰] Unsupervised Dual Adversarial Learning for Anomaly Detection in Colonoscopy Video Frames

Yuyuan Liu, Yu Tian외 5명|arXiv (Cornell University)|2019. 10. 23.

Anomaly Detection Techniques and Applications참고 문헌 20인용 수 4

한 줄 요약

이 논문은 정상 프레임만으로 훈련되는 새로운 비지도 이상 탐지 프레임워크인 ADGAN을 제안한다. 이는 이중 생성 적대 신경망(두 개의 생성자와 두 개의 판별자)을 사용하여 대장내시경 영상 프레임에서 종양을 이상으로 탐지한다. 종양이 없는 정상 프레임만으로 훈련된 모델는 이상 프레임을 잘 복원하지 못해 높은 재구성 오차를 유발하며, 이는 종양 존재를 경고하는 신호가 된다. 새로운 대장내시경 데이터셋에서 최신 기술(SOTA) AUC 0.7296을 달성한다.

ABSTRACT

The automatic detection of frames containing polyps from a colonoscopy video sequence is an important first step for a fully automated colonoscopy analysis tool. Typically, such detection system is built using a large annotated data set of frames with and without polyps, which is expensive to be obtained. In this paper, we introduce a new system that detects frames containing polyps as anomalies from a distribution of frames from exams that do not contain any polyps. The system is trained using a one-class training set consisting of colonoscopy frames without polyps -- such training set is considerably less expensive to obtain, compared to the 2-class data set mentioned above. During inference, the system is only able to reconstruct frames without polyps, and when it tries to reconstruct a frame with polyp, it automatically removes (i.e., photoshop) it from the frame -- the difference between the input and reconstructed frames is used to detect frames with polyps. We name our proposed model as anomaly detection generative adversarial network (ADGAN), comprising a dual GAN with two generators and two discriminators. We show that our proposed approach achieves the state-of-the-art result on this data set, compared with recently proposed anomaly detection systems.

연구 동기 및 목표

• 정상 종양 데이터셋의 높은 비용과 부족함을 해결하기 위해 종양 탐지를 일종의 이상 탐지 문제로 재정의한다.
• MSE 손실에 의존하는 오토인코더 기반 방법의 한계를 극복하여 전반적인 시각적 특징을 잘 포착하지 못하는 문제를 해결한다.
• 종합적인 훈련이 불가능하고 잠재 공간에서의 이미지 재구성 안정성에 어려움을 겪는 기존 GAN 기반 방법의 한계를 개선한다.
• 이상 탐지에 있어 강력한 성능을 발휘하는 통합형 엔드 투 엔드 프레임워크를 개발하며, 적대적 훈련과 다중 손실 최적화를 활용한다.

제안 방법

• 이미지 수준의 재구성에 적합한 시각 생성자와 판별자, 잠재 공간 매핑에 적합한 잠재 생성자와 판별자를 갖춘 이중 GAN 아키텍처인 ADGAN을 제안한다.
• MSE, 워샤르스키, 이진 교차 엔트로피(BCE) 손실을 조합한 손실 함수를 사용하여 시각 생성자가 입력 이미지를 재구성하도록 훈련한다.
• 이중 단계 훈련 과정을 사용한다: 먼저 잠재 GAN을 고정한 채로 시각 GAN을 80,000 반복 동안 사전 훈련한 후, 이후 20,000 반복 동안 두 GAN을 함께 훈련한다.
• 입력 이미지를 잠재 공간으로 매핑하는 인코더 네트워크를 통해 잠재 코드를 생성하여 시각 생성자가 입력 이미지를 재구성할 수 있도록 한다.
• L2 재구성 오차를 사용해 이상도를 계산한다: $ A( extbf{x}) = ig\| extbf{x} - G_v(G_l( extbf{x})) ig\|_2^2 $, 여기서 높은 값은 종양 존재를 의미한다.
• 손실 구성 요소의 균형을 맞추기 위해 검증 세트에서 $\alpha$와 $\beta$의 초모수를 [0.1, 10] 범위 내에서 최적화한다.

실험 결과

연구 질문

• RQ1 정상 대장내시경 프레임만으로 훈련된 일종의 학습 접근 방식이 종양이 포함된 프레임을 높은 정확도로 이상으로 탐지할 수 있는가?
• RQ2 적대적 훈련과 이중 GAN 아키텍처를 조합함으로써 표준 오토인코더나 GAN보다 재구성 정밀도와 이상 탐지 성능을 향상시킬 수 있는가?
• RQ3 MSE, 워샤르스키, BCE 손실을 조합한 다중 손실 함수가 훈련을 안정화시키고 미세한 종양 이상을 탐지하는 데 모델의 능력을 향상시키는가?
• RQ4 시각 GAN과 잠재 GAN을 엔드 투 엔드로 훈련하는 것과 두 단계 훈련 전략을 비교했을 때 재구성 품질과 이상 탐지 AUC 측면에서 어떤 차이가 있는가?
• RQ5 복잡한 질감과 잡음(예: 물, 분비물 등)을 가진 실제 대장내시경 영상에 대해 모델의 일반화 능력은 어느 정도인가?

주요 결과

• ADGAN는 새로운 대장내시경 데이터셋(14,317장의 이미지)에서 최신 기술(SOTA) AUC 0.7296을 달성하며 기존 방법들을 능가한다.
• 종양이 포함된 프레임에 대해 모델이 유의미하게 높은 재구성 오차를 생성하며(이상도 > 0.7296 AUC), 이는 이상 영역을 효과적으로 탐지함을 시사한다.
• 시각적 재구성 결과는 ADGAN이 입력 이미지에서 종양을 성공적으로 제거하고 자연스러운 건강한 대장 벽의 외관을 생성함을 보여준다.
• 이중 GAN 구조는 안정적인 훈련과 향상된 특징 표현을 가능하게 하여 표준 오토인코더나 GAN 대비 거짓 음성 수를 줄였다.
• MSE, 워샤르스키, BCE 손실의 조합은 단일 손실 기반 기준 대비 더 나은 일반화 능력과 더 구분력 있는 이상도를 제공한다.
• 모델는 새로운 테스트 데이터에 대해 잘 일반화되며, 다양한 조명 조건과 질감을 가진 복잡한 대장내시경 영상에서도 높은 성능을 유지한다.