[논문 리뷰] Review of state-of-the-arts in artificial intelligence with application to AI safety problem

Vladimir Shakirov|arXiv (Cornell University)|2016. 05. 11.

Topic Modeling참고 문헌 6인용 수 9

한 줄 요약

이 논문은 자연어 처리, 컴퓨터 비전, 음성 인식, 강화 학습 분야에서 최신 기술 발전을 종합적으로 분석하여, 인간 수준의 인공지능(AGI)이 향후 5~10년 내에 실현 가능할 것임을 주장한다. 모델 성능의 추세—특히 퍼플렉서티 감소와 BLEU 점수 향상—을 외삽함으로써 언어 모델의 낮은 퍼플렉서티가 일관되고 공리적인 대화를 가능하게 하고, 초지능형 AI가 존재할 경우 고도의 생존 위험을 초래할 수 있음을 시사한다. 특히 AGI 출현 후 10년 이내에 인간 멸종의 가능성이 75~99%로 평가된다.

ABSTRACT

Here, I review current state-of-the-arts in many areas of AI to estimate when it's reasonable to expect human level AI development. Predictions of prominent AI researchers vary broadly from very pessimistic predictions of Andrew Ng to much more moderate predictions of Geoffrey Hinton and optimistic predictions of Shane Legg, DeepMind cofounder. Given huge rate of progress in recent years and this broad range of predictions of AI experts, AI safety questions are also discussed.

연구 동기 및 목표

• 현재 딥러닝의 추세를 바탕으로 인간 수준의 인공지능(AGI) 실현 가능성 평가
• AI 연구자들 사이에서 AGI가 향후 10년 내에 나타날 것이라는 점차 확산되는 공감대 평가
• 초지능형 AI와 관련된 잠재적 생존 위험, 특히 인간 가치와의 정렬 실패 및 통제 불능 문제 분석
• 장기적 AI 안전 문제에 대해 일반적으로 흐릿하거나 먼 미래의 문제로 보는 것과는 달리, 기술 발전 속도가 급속도임을 감안할 때 이러한 문제들이 이미 현재에 다가와 있음을 주장
• AGI 개발이 가속화되기 전에 AI 정렬 및 안전 기법에 대한 긴급한 연구를 촉구

제안 방법

• 퍼플렉서티 및 BLEU 점수와 같은 벤치마크 지표를 사용해 자연어 처리, 컴퓨터 비전, 음성 인식, 강화 학습 분야의 최신 성능 분석
• 특히 순환 및 트랜스포머 기반 모델의 발전 추세를 외삽하여 향후 능력 예측
• 인간 언어의 정보 이론적 한계(0.648 비트/문자)를 적용해 인간 수준 언어 모델링의 이론적 하한선 추정
• 인간 평가 지표와의 정렬을 향상시키기 위한 적대적 훈련 및 최소 위험 훈련(MRT) 기법 평가
• 신경과학적 유사성과 인공 인지 아키텍처, 몸체화 요구 조건에 대한 통찰을 제공하기 위해 뇌과학적 유사성 검토
• 자기지도 학습, 다중모odal 학습, 비지도 사전학습과 같은 새로운 접근법이 AGI 개발 가속화에 기여할 수 있음을 논의

실험 결과

연구 질문

• RQ1 현재 딥러닝 벤치마크에서 어떤 증거들이 5~10년 내 인간 수준의 AI 실현 가능성을 뒷받침하는가?
• RQ2 신경망 기반 언어 모델의 낮은 퍼플렉서티가 일관되고 공리적인 추론 및 대화 생성을 의미하는 정도는 어느 정도인가?
• RQ3 기술 발전 속도가 급속도임을 감안할 때, 장기적 AI 안전 위험 문제가 일반적으로 주장하는 바와 같이 흐릿하거나 먼 미래의 문제로 보일 수 없는 이유는 무엇인가?
• RQ4 초지능형 AI를 인간 가치와 정렬하고 통제하기 위해 해결해야 할 주요 기술적·개념적 과제는 무엇인가?
• RQ5 선의/악의 데이터셋과 같은 현재의 AI 안전 연구 접근법은 타당성과 강건성 측면에서 어떻게 비교되는가?

주요 결과

• 언어 모델링에서의 퍼플렉서티 점수는 PTB에서 62.34에서 OpenSubtitles에서 17로 크게 감소하여 인간 수준의 일관성 향상 추세를 보여준다.
• 8192개의 은닉 유닛을 가진 단일 LSTM 모델은 퍼플렉서티 15 이하를 달성할 수 있으며, 100억 단어 데이터셋에 대해 앙상블을 적용할 경우 10 이하로 떨어질 수 있어 인간 수준의 단어 퍼플렉서티 이론 하한(~11.8)에 가까워진다.
• 신경 기계 번역에서의 BLEU 점수는 일부 작업에서 인간 성능을 초월했다(예: 중국어-영어 번역에서 40.06 vs 인간 35.76), 이는 거의 인간 수준의 번역 품질을 의미한다.
• 최소 위험 훈련(MRT)은 최대우도추정보다 뛰어나며, MT03 데이터셋에서 BLEU 점수를 33.2에서 40.06으로 끌어올렸다.
• 논문은 AGI 출현 후 10년 이내에 인간 멸종 가능성이 75~99%로 평가되며, 이는 무관심, 정렬 실패 또는 악의적인 설계로 인한 위험을 기반으로 한다.
• 일부 연구자들이 독점 방지를 위해 AGI를 오픈소스화할 수 있음을 언급하지만, 논문은 이러한 시스템이 여전히 통제 불능이거나 정렬 실패할 수 있음을 경고한다.