[논문 리뷰] Emergence of Phonemic, Syntactic, and Semantic Representations in Artificial Neural Networks

Pierre Orhan, Pablo Diego-Simón외 4명|arXiv (Cornell University)|2026. 01. 26.

Language Development and Disorders인용 수 0

한 줄 요약

본 논문은 자가지도 음성 및 텍스트 모델이 훈련 중 활성에서 음소적, 어휘 의미론적, 구문적 하위공간을 형성하는 것을 공유 선형 프로브에 의해 드러내며, 순차적 출현과 인간 학습에 비해 데이터 필요성의 격차가 있음을 보여준다.

ABSTRACT

During language acquisition, children successively learn to categorize phonemes, identify words, and combine them with syntax to form new meaning. While the development of this behavior is well characterized, we still lack a unifying computational framework to explain its underlying neural representations. Here, we investigate whether and when phonemic, lexical, and syntactic representations emerge in the activations of artificial neural networks during their training. Our results show that both speech- and text-based models follow a sequence of learning stages: during training, their neural activations successively build subspaces, where the geometry of the neural activations represents phonemic, lexical, and syntactic structure. While this developmental trajectory qualitatively relates to children's, it is quantitatively different: These algorithms indeed require two to four orders of magnitude more data for these neural representations to emerge. Together, these results show conditions under which major stages of language acquisition spontaneously emerge, and hence delineate a promising path to understand the computations underpinning language acquisition.

연구 동기 및 목표

• 언어 습득을 설명하는 신경 표현을 설명하기 위한 통일된 계산 프레임워크를 제안하는 것을 목표로 한다.
• 훈련 중 신경 활성에서 음소적, 어휘 의미론적, 그리고 구문적 표현이 출현하는지 조사한다.
• 다양한 양상과 모델에 걸친 이러한 언어 구조의 기하학적 형태와 등장 순서를 특성화한다.
• 데이터 효율성과 모델의 출력이 인간의 언어 습득과 어떻게 비교되는지 평가한다.

제안 방법

• Hewitt 및 Manning(2019) Structural Probe를 일반화하여 모델 활성에서 음소적, 어휘 의미론적, 구문적 하위공간을 추출한다.
• 활성 거리와 언어 대상 거리를 맞추기 위해 선형 변환 B를 적합시킨다(B는 시각화를 위한 2D, 평가를 위한 200D).
• 음소, 어휘, 구문 수준 전반에 걸친 대상 거리와 투영 거리 사이의 Spearman 상관을 통해 프로브 성능을 평가한다.
• 탐침 데이터셋 구성: 구문은 UD-EWT, 어휘 의미론은 WordNet 명사, 음소 기반 표현은 TTS 합성 음성에서 정렬과 함께 파생.
• 모델 크기 및 사전학습 조건에 걸쳐 텍스트 모델(Pythia, Llama2)과 음성 모델(Wav2Vec 2.0)을 비교한다.
• 훈련 체크포인트 및 사전학습 단계에서 프로브 점수를 추적하여 출현을 평가한다.

실험 결과

연구 질문

• RQ1 음소적, 어휘 의미론적, 구문적 구조가 음성 및 텍스트 모델의 신경 활성에서 구별 가능한 하위공간으로 출현하는가?
• RQ2 훈련 중 이들 언어 표현의 등장 순서는 어떤가, 그리고 데이터 양은 그것에 어떻게 영향을 미치는가?
• RQ3 모델 유형(텍스트 대 음성)과 모델 크기가 이 구조들의 등장과 기하학에 어떤 영향을 미치는가?
• RQ4 오디오 모델에서 음향 신호가 의미 표현을 얼마나 혼동시키는가, 그리고 대조 조건은 이를 어떻게 해소하는가?
• RQ5 발견이 인간의 언어 습득에 비유되는 발달적 경로와 일치하는가?

주요 결과

• 음성 모델에서 음소 구조가 별도의 하위공간으로 회복 가능하며, 조음과 비슷한 기하학(예: 모음 관계)이 사전 학습 중 중-후반 계층에서 출현한다.
• 텍스트와 오디오 모델 모두에서 어휘 의미론적 구조가 감지 가능하지만 다소 보통 수준의 조직을 보이며, 모델 규모와 데이터 노출에 크게 의존한다.
• 구문 표현은 음성 및 텍스트 모델 모두에서 회복 가능하며, 크기가 커지면 점수가 견고해지지만 음성 데이터의 단서로 인해 음성 모델에서 더 빠르게 등장한다.
• 체크포인트 전반에 걸쳐 음소 출현이 부분적 어휘 의미론 출현에 앞서며, 이어 구문 출현을 앞지르는 순차적 발달 경로를 시사한다.
• 오디오 모델은 인간 아동에 비해 유사한 표현에 도달하기 위해 훨씬 더 많은 입력 데이터가 필요하며, 데이터 효율성의 격차를 드러낸다.
• 대조 조건은 오디오 모델의 의미 및 구문 구조가 음향 신호에만 의존하지 않는다는 것을 보여주며, 텍스트 모델은 더 강하고 명확한 의미/구문 구조를 보인다.