[논문 리뷰] Robust Image Segmentation Quality Assessment

Leixin Zhou, Wenxiang Deng외 1명|arXiv (Cornell University)|2019. 03. 20.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 13

한 줄 요약

이 논문은 지도 학습 없이도 이미지 세그멘테이션 품질 평가를 위한 강건한 딥러닝 방법을 제안한다. 이는 원본 입력 이미지와 세그멘테이션에 조건화된 복원 이미지 간의 차이를 활용한다. 복원 네트워크(REC-Net)와 품질 회귀 네트워크(REG-Net)를 사용하여, 기존 최고 성능 방법들에 비해 적대적 공격에 더 강건한 성능을 유지하면서도, ACDC17 데이터셋에서 편향이 발생할 때 오차 증가율이 낮아진다.

ABSTRACT

Deep learning based image segmentation methods have achieved great success, even having human-level accuracy in some applications. However, due to the black box nature of deep learning, the best method may fail in some situations. Thus predicting segmentation quality without ground truth would be very crucial especially in clinical practice. Recently, people proposed to train neural networks to estimate the quality score by regression. Although it can achieve promising prediction accuracy, the network suffers robustness problem, e.g. it is vulnerable to adversarial attacks. In this paper, we propose to alleviate this problem by utilizing the difference between the input image and the reconstructed image, which is conditioned on the segmentation to be assessed, to lower the chance to overfit to the undesired image features from the original input image, and thus to increase the robustness. Results on ACDC17 dataset demonstrated our method is promising.

연구 동기 및 목표

• 임상 및 의료 영상 응용 분야에서 지도 데이터 없이 세그멘테이션 품질을 평가하는 문제를 해결하기 위해.
• 기존 딥러닝 기반의 품질 회귀 네트워크가 적대적 공격과 분포 이탈에 취약한 점을 개선하기 위해.
• 마스크된 입력 이미지로부터의 복원 오차를 활용해 세그멘테이션 품질과 직접 관련된 특징을 추출하는 방법을 개발하기 위해.
• 복원 과정에서 정상(지상 진실) 데이터만 사용하여, 전적으로 비지도 학습 기반의 품질 추정을 가능하게 하기 위해.
• 복원 기반 특징이 임의의 이미지 특징에 과적합되는 것을 줄이고, 분포 이탈 상황에서도 일반화 성능을 향상시킨다.

제안 방법

• 복원 네트워크(REC-Net)는 지상 진실 세그멘테이션으로 마스킹된 입력 이미지를 사용하여 원본 이미지를 복원하도록 훈련되며, 훈련 과정에서 정상(지상 진실) 세그멘테이션만 사용된다.
• 마스킹된 입력 이미지는 $\mathcal{I}_{in|\mathcal{S}} = \mathcal{I}_{in} \cdot (1 - \mathcal{S})$ 로 정의되며, 여기서 $\mathcal{S}$ 는 세그멘테이션 마스크이다.
• 복원 차이 이미지는 $\mathcal{I}_{dif} = \mathcal{I}_{in} - \mathcal{I}_{rec}$ 로 계산되며, 이는 열악한 세그멘테이션 품질로 인한 잔차 오차를 포착한다.
• 품질 회귀 네트워크(REG-Net)는 $\mathcal{I}_{dif}$ 와 후보 세그멘테이션 $\mathcal{S}_{seg}$ 를 입력으로 받아 Dice 점수를 예측한다.
• REC-Net은 U-Net 아키텍처를 사용하고, REG-Net은 AlexNet 유사 아키텍처를 사용하며, 둘 다 Dice 점수에 대한 지도 학습 기반 회귀를 통해 엔드 투 엔드로 훈련된다.
• 적대적 공격은 $\mathcal{I}_{in}$ 과 $\mathcal{I}_{dif}$ 에 대해 빠른 기울기 부호 방법(FGSM)을 사용하여 생성되어, 편향 상황에서의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 복원 기반 특징은 적대적 공격 상황에서 세그멘테이션 품질 평가 네트워크의 강건성을 향상시키는가?
• RQ2 원본 이미지와 복원 이미지 간의 차이를 사용함으로써 입력 이미지의 유사한 특징에 과적합되는 것을 줄일 수 있는가?
• RQ3 제안된 방법은 분포 이탈과 적대적 편향 상황에서 기존 최고 성능의 회귀 기반 품질 평가 방법과 비교해 어떻게 성능을 내는가?
• RQ4 지상 진실 세그멘테이션만으로 훈련된 복원 네트워크가 다양한 세그멘테이션 출력에 대해 효과적인 품질 추정을 가능하게 하는가?
• RQ5 제안된 방법은 실제 의료 영상 데이터, 예를 들어 ACDC17 챌린지의 심장 MRI 데이터에서 높은 성능을 유지하는가?

주요 결과

• ACDC17 데이터셋에서 공격 없이도 제안된 방법은 평균 절대 오차(MAE)가 0.04 ± 0.05를 기록하며, Robinson 등이 제안한 최고 성능 방법과 동일한 성능을 보였다.
• 적대적 공격에서 $\epsilon = 0.3$ 일 경우, 제안된 방법의 MAE는 0.12 ± 0.09로 증가하였고, Robinson 등 방법은 0.16 ± 0.09로 증가하여 오차 증가율이 더 낮았다.
• 모든 공격 수준($\epsilon = 0.05$ 에서 $\epsilon = 0.3$)에서 제안된 방법은 MAE 증가율이 유의미하게 낮게 유지되어, 더 뛰어난 강건성을 보였다.
• 복원 차이 이미지는 세그멘테이션 관련 오차를 효과적으로 포착하여, 원본 입력 이미지의 오해의 소지가 있는 특징에 대한 의존도를 줄였다.
• 다양한 하이퍼파라미터를 가진 U-Net 아키텍처를 사용하여 훈련한 결과, 세그멘테이션 품질이 크게 변동하더라도 강력한 성능 유지를 보였다.
• REC-Net 훈련에서 전적으로 정상 데이터(지상 진실 세그멘테이션)만 사용함으로써, 전문가가 평가한 품질 점수 없이도 비지도 품질 추정이 가능해졌다.