[논문 리뷰] Combinets: Creativity via Recombination of Neural Networks

Matthew Guzdial, Mark Riedl|arXiv (Cornell University)|2018. 02. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 11

한 줄 요약

이 논문은 백프로파게이션 없이 기존에 사전 훈련된 모델을 재조합하여 새로운 신경망 모델—combiNET 및 combiGAN이라고 불리는 모델—을 만드는 개념적 확장(conceptual expansion)을 소개한다. 이 방법은 소수의 샘플로 이루어진 이미지 분류 및 생성 작업에서 표준 전이 학습보다 뛰어난 성능을 보이며, 모델의 구조적 및 특징 수준의 조합을 활용하여 훈련 데이터가 극히 적은 상황에서도 뛰어난 성능을 나타낸다.

ABSTRACT

One of the defining characteristics of human creativity is the ability to make conceptual leaps, creating something surprising from typical knowledge. In comparison, deep neural networks often struggle to handle cases outside of their training data, which is especially problematic for problems with limited training data. Approaches exist to transfer knowledge from problems with sufficient data to those with insufficient data, but they tend to require additional training or a domain-specific method of transfer. We present a new approach, conceptual expansion, that serves as a general representation for reusing existing trained models to derive new models without backpropagation. We evaluate our approach on few-shot variations of two tasks: image classification and image generation, and outperform standard transfer learning approaches.

연구 동기 및 목표

• 희귀하거나 새로운, 환상적인 클래스에 대해 훈련 데이터가 부족하여 실패하는 딥 뉴럴 네트워크의 소수의 샘플 학습 문제를 해결하기 위해.
• 추가 훈련이나 도메인 특화 엔지니어링 없이 기존에 훈련된 모델을 재사용하여 새로운 모델을 생성할 수 있는 일반적인 방법을 개발하기 위해.
• 인간의 개념 융합에서 영감을 얻은 조합 창의성(combinational creativity)이 신경망에 적용되어 새로운 기능을 가진 모델을 생성할 수 있는지 탐구하기 위해.
• 표준 전이 학습 및 제로샷 접근법과 비교하여 개념적 확장에 의한 모델 재조합의 효과성을 평가하기 위해.

제안 방법

• 백프로파게이션 없이 다수의 사전 훈련된 신경망을 재조합하여 새로운 모델을 만드는 데 사용할 수 있는 융통성 있는 표현 방식으로 개념적 확장을 제안한다.
• 도메인 특화 히우리스틱과 특징 호환성 기반으로 최적의 모델 조합을 탐색하는 기반 기반의 접근 방식을 사용한다.
• 딥 컨volution GAN(DCGAN)과 분류기들을 사용하여 이미지 분류 및 이미지 생성 작업에 이 방법을 적용한다.
• combiGAN에서 생성자 가이드를 위해 기준 모델의 구분자(discriminator)를 히우리스틱으로 활용하여, 여우와 같은 희귀한 클래스의 현실적인 이미지를 합성한다.
• 실제 이미지와 생성된 이미지의 클래스 분포 간의 KL 발산과 인ception 스코어를 사용하여 성능을 평가하며, 이는 객체성(objectness)과 여우 유사도(fox-likeness)를 측정한다.
• 히우리스틱으로 나이브 베이스라인 또는 전이 학습 구분자를 사용하여 combiGAN 변종을 구성함으로써 표준 기준과의 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 재훈련 없이 사전 훈련된 신경망을 재조합하여 소수의 샘플 학습 문제를 해결할 수 있는가?
• RQ2 모델 재조합을 통한 개념적 확장이 소수의 샘플 이미지 분류 및 생성에서 표준 전이 학습을 능가하는가?
• RQ3 전통적인 미세조정 또는 전이 학습과 비교해 개념적 확장의 성능가 훈련 데이터가 제한된 경우 어떻게 변하는가?
• RQ4 모델의 구조적 및 특징 수준의 조합이 의미 있고 일반화 가능한 새로운 능력을 이끌 수 있는가?

주요 결과

• combiGAN 변종(combi+N 및 combi+T)은 나이브 베이스라인과 전이 학습 베이스라인을 모두 압도했으며, 특히 작은 훈련 세트에서 여우 유사한 이미지를 생성하는 데서 두드러진 성능을 보였다.
• 10개의 훈련 이미지로 실험한 결과, KL 발산 측정치에서 전이 베이스라인이 약간 더 우수한 성능(0.11 vs. 0.13)을 보였지만, combi+N의 출력은 더 잘 유지된 얼굴 특징을 유지했다.
• combiGAN 출력물은 더 뛰어난 시각적 품질과 구조적 일관성을 보였으며, 전이 학습 기반 베이스라인에서 흔히 나타나는 흐릿한 덩어리 아티팩트를 피했다.
• 이 방법은 낮은 데이터 환경에서도 강건성을 보였으며, 개념적 확장은 훈련 예제 수가 적을수록 자기 자신을 능가하는 경우가 많았다.
• 더 높은 인ception 스코어와 실제 여우 이미지의 클래스 분포와의 정렬도 향상되어, 생성 샘플의 객체성과 현실성 향상을 나타냈다.