[논문 리뷰] SimEx: Express Prediction of Inter-dataset Similarity by a Fleet of Autoencoders

Inseok Hwang, Jinho Lee외 2명|arXiv (Cornell University)|2020. 01. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 4

한 줄 요약

SimEx는 사전 훈련된 오토인코더들을 활용해 미지의 데이터에 대한 복원 오차를 평가함으로써, 재훈련이 필요 없는 빠른 방법으로 데이터셋 간 유사도를 예측한다. 각 오토인코더는 서로 다른 알려진 데이터 하위집합에 특화되어 있으며, 이는 전이학습 기반 기준보다 10배 이상 빠른 속도를 달성하면서도 성능 기반 유사도 측정 지표와 강한 상관관계를 유지한다.

ABSTRACT

Knowing the similarity between sets of data has a number of positive implications in training an effective model, such as assisting an informed selection out of known datasets favorable to model transfer or data augmentation problems with an unknown dataset. Common practices to estimate the similarity between data include comparing in the original sample space, comparing in the embedding space from a model performing a certain task, or fine-tuning a pretrained model with different datasets and evaluating the performance changes therefrom. However, these practices would suffer from shallow comparisons, task-specific biases, or extensive time and computations required to perform comparisons. We present SimEx, a new method for early prediction of inter-dataset similarity using a set of pretrained autoencoders each of which is dedicated to reconstructing a specific part of known data. Specifically, our method takes unknown data samples as input to those pretrained autoencoders, and evaluate the difference between the reconstructed output samples against their original input samples. Our intuition is that, the more similarity exists between the unknown data samples and the part of known data that an autoencoder was trained with, the better chances there could be that this autoencoder makes use of its trained knowledge, reconstructing output samples closer to the originals. We demonstrate that our method achieves more than 10x speed-up in predicting inter-dataset similarity compared to common similarity-estimating practices. We also demonstrate that the inter-dataset similarity estimated by our method is well-correlated with common practices and outperforms the baselines approaches of comparing at sample- or embedding-spaces, without newly training anything at the comparison time.

연구 동기 및 목표

• 재훈련 없이도 알려진 기준 데이터셋과 미지의 데이터셋 간 유사도를 효율적으로 추정하는 문제를 해결하기 위해.
• 전이학습 및 데이터 증강 워크플로우에서 유사도 추정의 계산 비용을 줄이기 위해.
• 사용자 지정된 특징 표현에 의한 편향을 피하기 위해 사전 훈련된 오토인코더를 활용해 복원 품질 기반으로 유사도를 추론하는 방법을 개발하기 위해.
• 입력 공간에서의 복원 오차가 데이터셋 간 유사도의 신뢰할 수 있는 대체 지표가 될 수 있는지 평가하기 위해.
• SimEx가 실제 머신러닝 파이프라인에서 기존의 유사도 추정 기법들에 비해 확장 가능하고 저지연성인 대안이 될 수 있음을 보여주기 위해.

제안 방법

• 각 다른 데이터 하위집합에 대해 알려진 데이터셋에서 별도의 오토인코더를 훈련시키며, 복원 손실로 MSE 또는 iSSIM을 사용한다.
• 사전 훈련된 오토인코더들을 사용해 미지의 데이터 샘플을 복원하고, 입력과 복원 출력 간의 차이를 측정한다.
• 입력과 복원 출력 간의 복원 오차(MSE 또는 iSSIM)를 기반으로, 각 알려진 데이터 하위집합과의 유사도를 계산한다.
• 복원 오차를 유사도의 대체 지표로 사용한다: 낮은 오차는 해당 알려진 데이터 하위집합과의 높은 유사도를 의미한다.
• 추론 시에 어떤 피팅 튜닝이나 추가 훈련도 수행하지 않아, 빠르고 실시간 유사도 예측이 가능하다.
• 전이학습, 데이터 증강, 클래스 간 혼동 예측 등 다양한 작업에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 오토인코더에서 유도된 복원 오차가 데이터셋 간 유사도의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ2 SimEx는 전이학습 및 데이터 증강과 관련된 유사도 예측에서 샘플 공간 및 임베딩 공간 기반 기준과 비교해 어떻게 성능을 내는가?
• RQ3 SimEx는 전이학습 기반 유사도 추정에 비해 런타임 비용을 얼마나 줄이는가?
• RQ4 SimEx는 기존 기준 방법들과 비교해 데이터셋 내 클래스 간 혼동 수준을 얼마나 잘 예측하는가?
• RQ5 입력 공간에서의 복원 오차를 사용함으로써 모델 특화된 특징 표현에서 유도되는 편향을 줄일 수 있는가?

주요 결과

• SimEx는 추론 시에 재훈련이 필요 없기 때문에 전이학습 기반 기준 대비 데이터셋 간 유사도 예측에서 10배 이상의 속도 향상을 달성한다.
• SimEx-MSE와 SimEx-iSSIM은 각각 9개 클래스의 LeNet-5 분류기에서의 혼동 수준과 슼델만의 ρ 상관계수 0.692와 0.765를 기록하여 강한 상관관계를 보였다.
• SimEx-iSSIM은 9개 클래스의 ResNet-18 분류기에서의 혼동 수준과 슼델만의 ρ 상관계수 0.804를 기록했으며, 기준 샘플-iSSIM(ρ = 0.338)보다 뛰어난 성능을 보였다.
• SimEx의 유사도 예측은 샘플 공간 거리보다 모델 기반 혼동 패턴과 더 일관되게 일치하여 실제 머신러닝 작업에서 더 뛰어난 예측 능력을 가짐을 시사한다.
• 피팅 튜닝이나 특징 추출의 계산 부담 없이도 성능 기반 유사도 측정 지표와 높은 상관관계를 유지한다.
• SimEx는 클래스 간 혼동 예측에서 샘플 공간 및 임베딩 공간 기준 모두를 능가하며, 이는 초기 데이터셋 호환성 스크리닝에 잠재력을 지닌다는 것을 시사한다.