[논문 리뷰] Regularising Non-linear Models Using Feature Side-information

Amina Mollaysa, Pablo Strasser외 1명|arXiv (Cornell University)|2017. 03. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 5

한 줄 요약

이 논문은 비선형 모델을 위한 새로운 정규화 프레임워크를 제안하며, 유사한 특징 간의 상대적 변화에 대해 모델의 불변성을 강제함으로써 예측 성능을 향상시키기 위해 특징 보조정보를 활용한다. 이 방법은 자코비안 라플라시안 또는 데이터 증강을 통한 근사로 이루어지는 민감도 기반 정규화 항을 사용하여, ℓ₂와 드롭아웃에 비해 벤치마크 데이터셋에서 상당한 성능 향상을 이룬다. 특히 보조정보가 관련성이 있을 경우 두드러진 성능 향상이 관찰된다.

ABSTRACT

Very often features come with their own vectorial descriptions which provide detailed information about their properties. We refer to these vectorial descriptions as feature side-information. In the standard learning scenario, input is represented as a vector of features and the feature side-information is most often ignored or used only for feature selection prior to model fitting. We believe that feature side-information which carries information about features intrinsic property will help improve model prediction if used in a proper way during learning process. In this paper, we propose a framework that allows for the incorporation of the feature side-information during the learning of very general model families to improve the prediction performance. We control the structures of the learned models so that they reflect features similarities as these are defined on the basis of the side-information. We perform experiments on a number of benchmark datasets which show significant predictive performance gains, over a number of baselines, as a result of the exploitation of the side-information.

연구 동기 및 목표

• 예측 성능 향상을 위해 비선형 모델 학습에 특징의 벡터형 기술(보조정보)을 효과적으로 통합하는 데 아직 다루어지지 않은 문제를 해결한다.
• 기존 방법들이 보조정보를 무시하거나 사전 처리 단계나 저차수 다항식에만 특수화된 방식으로만 적용하는 한계를 극복한다.
• 보조정보에 따라 유사한 특징에 대해 모델이 상대적 변화에 대해 불변성을 가지도록 보장하는 일반적인 정규화 기법을 개발한다.
• 딥 뉴럴 네트워크에 대해 계산적으로 실현 가능한 정규화 항을 만들기 위해 분석적(자코비안 기반) 및 확률적(데이터 증강 기반) 두 가지 실용적 근사 방법을 제공한다.
• 합성 및 실제 데이터셋에서 제안된 방법의 효과성을 입증하며, 성능 향상이 보조정보의 관련성에 따라 달라진다는 점을 보여준다.

제안 방법

• 모델 출력 변화의 노름을 모든 가능한 특징 값의 상대적 변화에 대해 측정하는 민감도 측도를 정의하며, 데이터 분포와 상대적 변화에 대해 통합한다.
• 일阶 테일러 전개를 사용해 민감도 측도를 분석적으로 근사함으로써, 편미분의 차이의 제곱 노름으로 간소화하며, 이는 입력 특징에 대한 모델 자코비안에 대한 라플라시안 정규화 항으로 이어진다.
• 상대적 특징 값 변화를 가진 증강 데이터를 생성하고, 이러한 샘플들에서만 정규화 항을 추정함으로써 확률적 근사를 구현한다.
• 정규화 항을 하이퍼파ram터 λ를 통해 강도를 조절하면서 손실 함수에 통합함으로써 신경망 학습에 통합한다.
• 보조정보에서 유도된 특징 유사도 행렬을 사용해 분석적 정규화 항에서 사용되는 라플라시안 행렬을 정의한다.
• 제안된 정규화 항을 사용해 모델을 훈련하고, 여러 벤치마크 데이터셋에서 ℓ₂ 가중치 감쇠 및 드롭아웃과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 일반적인 비선형 모델 훈련 중에 특징 보조정보를 효과적으로 활용하여 예측 성능을 향상시킬 수 있는가?
• RQ2 보조정보에 의해 정의된 유사한 특징을 동일한 방식으로 다루도록 모델이 일관되게 작동하도록 하는 정규화 전략은 어떻게 설계할 수 있는가?
• RQ3 딥 러닝 환경에 적용 가능한 민감도 기반 정규화 항에 대한 효과적이고 확장 가능한 근사 방법은 무엇인가?
• RQ4 제안된 방법의 성능는 다양한 데이터셋에서 기존 정규화 기법(ℓ₂ 및 드롭아웃)과 비교해 어떻게 되는가?
• RQ5 보조정보의 관련성이 정규화 항의 효과성에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 방법(ST, 확률적 방법)은 여섯 개의 여덟 개 데이터셋에서 ℓ₂ 가중치 감쇠를 뛰어넘으며, 한 개는 동일하고 나머지 한 개는 유의미한 차이가 없음.
• ST는 여섯 개의 여덟 개 데이터셋에서 드롭아웃보다 유의미하게 뛰어나며, 세 개는 뛰어나지 못하고 한 개는 차이가 없음.
• 두 개의 은닉층을 사용할 경우, ST는 세 개의 데이터셋에서 ℓ₂보다 뛰어나고, 세 개는 열 劣하며, 두 개는 동일하여 일관된 성능 향상이지만 항상 우세한 것은 아님.
• BBCSport 데이터셋에서, 두 개의 은닉층을 사용할 경우 ST는 분류 오차 2.04%를 기록했고, ℓ₂는 2.85%, 드롭아웃은 2.99%를 기록하여 명확한 향상이 관찰됨.
• 보조정보가 데이터 생성 과정과 일치하는 인위적 데이터셋에서 성능이 가장 뛰어나며, 이는 성능 향상이 보조정보의 관련성에 따라 달라진다는 점을 확인함.
• 보조정보가 관련이 없을 경우 정규화 항은 비활성화되며, 이 경우 하이퍼파ram터 λ가 0으로 조정됨을 통해 관련이 없는 보조정보에 대한 강건성을 보임.