[논문 리뷰] Sharkzor: Interactive Deep Learning for Image Triage, Sort and Summary

Meg Pirrung, Nathan Hilliard외 5명|arXiv (Cornell University)|2018. 02. 14.

Advanced Neural Network Applications참고 문헌 13인용 수 6

한 줄 요약

Sharkzor는 사용자가 자유롭게 끌고 뭉치는 방식으로 정신 모델을 임bedding하는 웹 기반 인터랙티브 딥러닝 시스템으로, 대규모 이미지 컬렉션을 정렬하고 조직하며 요약할 수 있도록 지원한다. 전이학습, 소수의 예시 학습, t-SNE 차원 축소를 활용해 사용자 상호작용에 따라 이미지를 동적으로 재배치하고 자동으로 그룹화하며, 최소한의 레이블 예시로도 높은 정확도를 달성하면서도 신뢰도 시각화와 히트맵을 통해 모델 결정의 해석 가능성을 확보한다.

ABSTRACT

Sharkzor is a web application for machine-learning assisted image sort and summary. Deep learning algorithms are leveraged to infer, augment, and automate the user's mental model. Initially, images uploaded by the user are spread out on a canvas. The user then interacts with the images to impute their mental model into the application's algorithmic underpinnings. Methods of interaction within Sharkzor's user interface and user experience support three primary user tasks; triage, organize and automate. The user triages the large pile of overlapping images by moving images of interest into proximity. The user then organizes said images into meaningful groups. After interacting with the images and groups, deep learning helps to automate the user's interactions. The loop of interaction, automation, and response by the user allows the system to quickly make sense of large amounts of data.

연구 동기 및 목표

• 사용자의 개인적 정신 모델에 기반해 대규모 이미지 컬렉션을 조직하는 데 도움이 되는 인간-기계 협업 시스템을 개발하는 것.
• 소수의 예시 학습과 전이학습을 활용해 사용자 정의 그룹에 빠르게 적응함으로써 수동 이미지 레이블링의 부담을 줄이는 것.
• 신뢰도 시각화와 자동 그룹화 결정에 대한 피드백을 제공함으로써 딥러닝 모델의 결정을 해석 가능하게 만드는 것.
• 사용자가 머신러닝이 자신의 이미지 정리 과정에 언제, 어떻게 통합될지를 제어할 수 있는 유연하고 지시적이지 않은 워크플로우를 제공하는 것.
• 사용자 상호작용을 통한 활성 학습과 사전 클러스터링을 결합해 확장 가능한 이미지 선별 및 요약을 지원하는 것.

제안 방법

• 사전 클러스터링은 ImageNet으로 사전 훈련된 딥 오토에인코드르 사용해 이미지를 256차원으로 압축한 후, PCA를 통해 8차원으로 감소시키고, t-SNE를 통해 2차원 임베딩을 생성해 초기 캔버스 레이아웃을 만든다.
• 소수의 예시 학습은 시아모이 네트워크를 통해 구현되며, 테스트 이미지가 사용자가 정의한 그룹에 속할 확률을 계산함으로써 고정된 클래스 수 제한 없이 동적 다중 그룹 분류를 가능하게 한다.
• 모델은 사전 훈련된 ResNet-50 모델에서 특징을 추출해 모든 딥러닝 컴포넌트를 초기화함으로써 강력한 특징 표현을 보장한다.
• 모델이 이미지를 그룹에 할당할 확신도가 임계값을 초과하면 자동 그룹화가 활성화되며, 피드백 루프를 통해 사용자가 그룹을 정밀 조정할 수 있다.
• 신뢰도 시각화와 히트맵 오버레이를 통해 모델 결정의 해석 가능성을 높이며, 사용자가 모델이 불확실하거나 매우 확신하는 영역을 쉽게 확인할 수 있도록 한다.
• 시스템은 모듈러한 마이크로서비스 아키텍처로 설계되어 이미지 처리 및 학습 작업의 확장 가능한 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 시스템은 얼마나 많은 레이블 데이터가 없이도 사용자의 개인적 이미지 정리 정신 모델을 효과적으로 학습하고 적응할 수 있는가?
• RQ2 어떤 인터랙티브 디자인 패턴이 사용자가 복잡하고 임의의 이미지 그룹화를 기계 학습 시스템에 효율적으로 전달할 수 있도록 돕는가?
• RQ3 모델의 신뢰도와 불확실성은 어떻게 시각화할 수 있으며, 이는 사용자가 자동 이미지 정렬 결정에 대한 신뢰도와 이해를 높이는 데 어떻게 기여하는가?
• RQ4 소수의 예시 학습과 전이학습을 차원 축소와 결합해 얼마나 신속하고 확장 가능한 이미지 선별 및 요약을 실현할 수 있는가?
• RQ5 인간-기계 협업 시스템은 수동 레이블링의 필요성을 줄일 수 있을까, 동시에 이미지 정리 작업에서 높은 정확도를 유지할 수 있는가?

주요 결과

• Sharkzor는 소수의 예시 학습을 활용해 사전 정의된 클래스 레이블이 없이도 사용자가 최소 두 장의 이미지로도 그룹을 유추할 수 있도록 함으로써, 최소한의 입력으로 이미지를 조직할 수 있도록 한다.
• 자동에인코드 압축과 PCA를 거쳐 고차원 이미지 데이터에 대한 t-SNE의 계산 부담을 줄여, 초기 이미지 레이아웃을 위한 효율적인 2차원 임베딩을 가능하게 한다.
• 자동 그룹화 기능은 기존 사용자 정의 그룹과 유사한 이미지에 대해 새로운 그룹 멤버십을 제안함으로써 효율성을 높이며, 신뢰도 임계값을 통해 잘못된 할당을 방지한다.
• 신뢰도 시각화와 히트맵 오버레이를 통해 사용자는 모델 결정의 실시간 통찰을 확보할 수 있으며, 이는 투명성을 높이고 시스템의 행동을 수정하거나 정밀 조정할 수 있도록 한다.
• 최소한의 레이블 예시로도 높은 성능을 달성함으로써, 사용자가 제공한 정신 모델이 딥러닝 모델에 효과적으로 인코딩되고 일반화될 수 있음을 입증한다.
• 기계 학습 보조 기능을 사용자의 자연스러운 워크플로우에 통합함으로써, Sharkzor는 명시적 학습의 필요성을 줄이고 비선형적이고도 민첩한 작업 실행을 지원한다.