[논문 리뷰] VisualBackProp for learning using privileged information with CNNs

Devansh Bisla, Anna Choromanska|arXiv (Cornell University)|2018. 05. 24.

Machine Learning and Data Classification참고 문헌 21인용 수 3

한 줄 요약

이 논문은 분할 마스크와 같은 전문 지식 정보를 경량이며 파rameter-free 아키텍처 모듈을 통해 CNN 훈련에 통합함으로써, 훈련 중에 관련 이미지 영역에 주의를 기울이는 방식의 VisualBackProp를 제안한다. 이 방법은 추론 파이프라인을 수정하지 않고도 역시각화를 통해 주목할 만한 특징에 주의를 집중시킴으로써 ImageNet에서 2.4%, PASCAL VOC에서 2.7%의 분류 정확도 향상을 이룬다.

ABSTRACT

In many machine learning applications, from medical diagnostics to autonomous driving, the availability of prior knowledge can be used to improve the predictive performance of learning algorithms and incorporate `physical,' `domain knowledge,' or `common sense' concepts into training of machine learning systems as well as verify constraints/properties of the systems. We explore the learning using privileged information paradigm and show how to incorporate the privileged information, such as segmentation mask available along with the classification label of each example, into the training stage of convolutional neural networks. This is done by augmenting the CNN model with an architectural component that effectively focuses model's attention on the desired region of the input image during the training process and that is transparent to the network's label prediction mechanism at testing. This component effectively corresponds to the visualization strategy for identifying the parts of the input, often referred to as visualization mask, that most contribute to the prediction, yet uses this strategy in reverse to the classical setting in order to enforce the desired visualization mask instead. We verify our proposed algorithms through exhaustive experiments on benchmark ImageNet and PASCAL VOC data sets and achieve improvements in the performance of $2.4\%$ and $2.7\%$ over standard single-supervision model training. Finally, we confirm the effectiveness of our approach on skin lesion classification problem.

연구 동기 및 목표

• 훈련 중 도메인 특화된 전문 지식 정보(예: 분할 마스크)를 통합하여 CNN의 일반화 성능을 향상시키는 것.
• 표준 지도 학습의 한계를 해결하기 위해, 특징 선택에 대한 통제가 부족해 비의도적인 상관관계를 학습할 수 있는 문제를 해결하는 것.
• 추론 아키텍처를 수정하지 않고도 모델의 주의를 관련 이미지 영역으로 이끌 수 있는 방법을 개발하는 것.
• 의료 피부 병변 분류를 포함한 다양한 벤치마크에서 이 방법의 효과를 검증하는 것.

제안 방법

• 훈련 중에 원하는 시각화 마스크를 역으로 백프로파게이션하기 위해 VisualBackProp를 사용하는 파rameter-free 아키텍처 구성 요소를 도입한다.
• 시각화 마스크를 역순으로 적용: 사후에 주목할 만한 특징을 식별하는 것이 아니라, 학습 과정에서 특정 영역에 주의를 집중시킨다.
• 평균화, 디컨볼루션, 점별 곱셈과 같은 선형 연산만을 사용하여 어떤 CNN 아키텍처와도 호환된다.
• 모든 합성곱 레이어에서 전체 해상도로 전문 마스크를 적용하여 배경이나 아티팩트와 같은 관련 없는 특징을 억제한다.
• 테스트 시간에는 동일한 네트워크 아키텍처를 유지하여 추론 오버헤드가 발생하지 않는다.
• 이중 감독 프레임워크를 활용: 훈련 중 표준 레이블 감독과 전문 마스크 감독을 동시에 적용한다.

실험 결과

연구 질문

• RQ1 분할 마스크를 전문 지식 정보로 통합하면 이미지 분류 작업에서 CNN 성능이 향상될 수 있는가?
• RQ2 VisualBackProp의 역시각화 메커니즘이 특징 학습과 모델 일반화에 어떤 영향을 미치는가?
• RQ3 정확도와 강건성 측면에서 표준 데이터 증강 및 입력 마스킹 기법보다 이 방법이 뛰어나게 성능을 발휘하는가?
• RQ4 배경 아티팩트(예: 체중계, 머리카락 등)가 자주 모델을 오도하는 의료 영상 분류에 이 방법을 효과적으로 적용할 수 있는가?

주요 결과

• 제안된 방법은 ImageNet 데이터셋에서 표준 단일 감독 훈련 대비 상위-1 정확도에서 2.4%p의 절대적 향상을 달성한다.
• PASCAL VOC 데이터셋에서는 기준 훈련 대비 평균 mAP에서 2.7% 향상된 결과를 보였다.
• 피부 병변 분류에서 Full Focus 버전은 메라노마에 대해 AUC 0.815를 기록하여 일반 훈련 기준(0.802)을 초월했다.
• Half Focus 버전은 더 선명한 시각화 마스크를 생성했으며, 세보리에이트 키토시스에 대해 AUC 0.941을 기록하여 기준(0.924)을 뛰어넘었다.
• 예시 시각화 결과는 머리카락이나 체중계와 같은 배경 아티팩트에 대한 주의를 효과적으로 억제하고 병변 영역에 집중하고 있음을 확인했다.
• 이 방법은 단일 순방향 전파보다도 더 적은 계산 연산을 요구하여 매우 효율적이며 실세계 시스템에 쉽게 구현 가능하다.