[논문 리뷰] Learned feature representations are biased by complexity, learning order, position, and more

Andrew K. Lampinen, Stephanie C. Y. Chan외 1명|arXiv (Cornell University)|2024. 05. 09.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 특징의 복잡성, 학습 순서, 희귀도, 출력 위치와 같은 비계산적 요소가 깊이 신경망의 학습된 특징 표현에 체계적인 편향을 유도하는 방식을 조사한다. 이는 이러한 특징들이 동일한 계산적 역할을 하더라도 발생한다. 동일한 작업 성능을 보일 지라도, 모델은 더 단순하거나 이른 시점에 학습된 특징을 더 강하게 표현하며, 이는 경사 기반 표현 학습에서 근본적인 인덕티브 편향을 드러내며, 인공지능 및 신경과학 분야에서의 해석 가능성과 시스템 간 비교에 도전한다.

ABSTRACT

Representation learning, and interpreting learned representations, are key areas of focus in machine learning and neuroscience. Both fields generally use representations as a means to understand or improve a system's computations. In this work, however, we explore surprising dissociations between representation and computation that may pose challenges for such efforts. We create datasets in which we attempt to match the computational role that different features play, while manipulating other properties of the features or the data. We train various deep learning architectures to compute these multiple abstract features about their inputs. We find that their learned feature representations are systematically biased towards representing some features more strongly than others, depending upon extraneous properties such as feature complexity, the order in which features are learned, and the distribution of features over the inputs. For example, features that are simpler to compute or learned first tend to be represented more strongly and densely than features that are more complex or learned later, even if all features are learned equally well. We also explore how these biases are affected by architectures, optimizers, and training regimes (e.g., in transformers, features decoded earlier in the output sequence also tend to be represented more strongly). Our results help to characterize the inductive biases of gradient-based representation learning. We then illustrate the downstream effects of these biases on various commonly-used methods for analyzing or intervening on representations. These results highlight a key challenge for interpretability $-$ or for comparing the representations of models and brains $-$ disentangling extraneous biases from the computationally important aspects of a system's internal representations.

연구 동기 및 목표

• 특징의 복잡성과 학습 순서와 같은 비계산적 요소가 깊이 신경망의 학습된 표현에 어떻게 편향을 유도하는지 조사하기.
• 특징들이 모델의 계산에 동일하게 기여함에도 불구하고, 이러한 편향이 아키텍처, 최적화 방법, 학습 제도 간에 지속되는지 검토하기.
• 이러한 표현 편향이 모델의 해석 가능성, 모델 간 비교, 뇌의 표현을 모델링하는 데 활용되는 신경과학 기반 분석에 미치는 영향 평가하기.
• 이러한 편향을 보완하거나 완화할 수 있는 간섭 조치가 가능한지 탐색하며, 특정 학습 설정의 산물인지 여부를 확인하기.

제안 방법

• 저자들은 다수의 추상적 특징이 명시적으로 정의되고 동일한 계산적 역할을 하는 제어된 합성 데이터셋을 사용하여 다양한 딥러닝 모델—MLP, ResNet, 트랜스포머—을 훈련시었다.
• 특징의 복잡성(선형 대 비선형), 학습 순서(순차적 대 동시 훈련), 입력 내 특징의 희귀도, 시퀀스 헤드에서의 출력 위치와 같은 성질를 조작하였다.
• 활성도 기반 방법을 사용하여 표현을 분석하였으며, 표현 유사도 분석(RSA)을 포함하여 다양한 특징이 레이어와 모델 간에 얼마나 강하게 표현되는지 비교하였다.
• 일반화 가능성 평가를 위해 다양한 아키텍처와 최적화 방법을 평가하였으며, 모델 구조와 편향 패턴 간의 상호작용을 규명하였다.
• 단순한 모델에서 편향을 보정하기 위해 학습 순서를 변경하고, 어려운 특징과 관련된 입력 패턴에 집중하는 간섭 조치를 설계하였다.

실험 결과

연구 질문

• RQ1 특징의 복잡성이 계산적 기여와 무관하게 학습된 표현의 강도와 밀도에 어떻게 영향을 미치는가?
• RQ2 특징이 학습되는 순서가 모델 내부 활성화에서 특징 표현에 얼마나 큰 영향을 미치는가?
• RQ3 데이터 내 희귀도와 네트워크의 출력 시퀀스에서의 출력 위치가 표현 강도에 어떻게 영향을 미치는가?
• RQ4 이러한 편향은 아키텍처, 최적화 방법, 학습 제도 간에 다양하게 나타나는가? 그리고 이를 뒤집거나 보정할 수 있는가?
• RQ5 이러한 표현 편향이 모델 행동을 해석하거나 인공신경망과 생물학적 신경 표현을 비교하는 데 어떤 영향을 미치는가?

주요 결과

• 계산이 더 단순한 특징(예: 선형적으로 계산 가능한 특징)은 계산적 기여가 동일한 복잡한 특징과 비교해도 더 강하게 그리고 더 밀도 있게 표현된다.
• 학습 초기에 학습된 특징은 학습 후기의 특징보다 항상 더 강하게 표현되며, 이는 표현 학습에서 경로 의존성의 강한 증거이다.
• 훈련 데이터 내 희귀도가 높은 특징은 계산적 역할이 동일한 낮은 희귀도 특징과 비교해도 더 강하게 표현된다.
• 트랜스포머에서는 출력 시퀀스에서 이른 시점에 복원된 특징이 더 강하게 표현되며, 이는 순차적 아키텍처에서의 위치 기반 편향을 시사한다.
• 이러한 편향은 아키텍처와 최적화 방법 간에 강건하게 유지되며, 특정 경우에 복잡한 상호작용으로 인해 이들이 이동하거나 반전될 수 있다.
• 단순한 모델에서는 재훈련과 입력 패턴 간섭을 통해 편향 보정이 가능하지만, 이러한 방법은 대규모 모델이나 실제 시스템에 적용하기에는 비실용적이다.