[論文レビュー] Review of state-of-the-arts in artificial intelligence with application to AI safety problem

Vladimir Shakirov|arXiv (Cornell University)|May 11, 2016

Topic Modeling参考文献 6被引用数 9

ひとこと要約

この論文は、自然言語処理、コンピュータビジョン、音声認識、強化学習における深層学習の最先端技術の進展をレビューし、人間水準の汎用人工知能（AGI）が今後5〜10年以内に達成可能であると主張する。モデル性能の傾向を外挿することで、特にパープレキシティの低減とBLEUスコアの向上を根拠に、言語モデルの低パープレキシティが一貫性があり、常識的な会話の生成を可能にすると結論づけている。また、超知能AIは深刻な存続的リスクを伴い、AGI出現後10年以内に人間の絶滅の確率が75〜99％に上ると予測している。

ABSTRACT

Here, I review current state-of-the-arts in many areas of AI to estimate when it's reasonable to expect human level AI development. Predictions of prominent AI researchers vary broadly from very pessimistic predictions of Andrew Ng to much more moderate predictions of Geoffrey Hinton and optimistic predictions of Shane Legg, DeepMind cofounder. Given huge rate of progress in recent years and this broad range of predictions of AI experts, AI safety questions are also discussed.

研究の動機と目的

• 現在の深層学習のトレンドに基づいて、人間水準の人工知能（AGI）の実現可能性を評価すること。
• AI研究者間で急速に広がっている、今後10年以内にAGIが出現する可能性があるという合意を評価すること。
• 超知能AIに関連する潜在的な存続的リスク、特に人間の価値観との整合性が取れず、制御不能になるリスクを分析すること。
• 急速な進歩のペースを踏まえると、長期的なAI安全対策の懸念は、曖昧で遠い未来の話ではなく、直近の問題であると主張すること。
• AGIの開発が加速する前に、AIの整合性と安全対策の研究を緊急に推進すべきだと提唱すること。

提案手法

• 自然言語処理、コンピュータビジョン、音声認識、強化学習分野における最先端性能を、パープレキシティやBLEUスコアといったベンチマーク指標を用いて分析する。
• 特に再帰的およびトランスフォーマー型モデルの進歩を外挿することで、将来の能力を予測する。
• 人間の言語パープレキシティの情報理論的限界（0.648ビット/文字）を用いて、人間水準の言語モデルの理論的下限を推定する。
• 敵対的学習と最小リスク学習（MRT）を、人間の評価指標との整合性を高める手法として評価する。
• 神経科学の類似性を検討し、人工的認知アーキテクチャや身体性の要件を明らかにする。
• 自己教師あり学習、マルチモーダル学習、教師なし事前学習といった新興アプローチが、AGI開発を加速させる可能性を議論する。

実験結果

リサーチクエスチョン

• RQ1 現在の深層学習ベンチマークの証拠は、人間水準のAIが5〜10年以内に実現可能であるという予測をどの程度裏付けているか？
• RQ2 ニューラル言語モデルにおける低パープレキシティは、一貫性があり、常識的な推論や対話生成をどの程度示唆するか？
• RQ3 急速な進歩のペースを踏まえると、長期的なAI安全リスクが、しばしば言われるような遠い未来の懸念ではなく、なぜ直近の問題であるとされるのか？
• RQ4 超知能AIを人間の価値観と整合させ、制御可能にするために直面する主な技術的・概念的課題は何か？
• RQ5 慈悲心／悪意のデータセットといった、現在のAI安全研究アプローチは、実現可能性と頑健性において、どのように比較されるか？

主な発見

• 言語モデルにおけるパープレキシティスコアは著しく低下しており、PTBでは62.34からOpenSubtitlesでは17にまで低下している。これは、人間水準の整合性に向けた急速な進歩を示している。
• 8192ユニットの隠れ層を持つLSTMモデル1つでパープレキシティ15未満を達成可能であり、100億語のアンサンブルでは10未満にまで到達する可能性がある。これは、人間水準の単語パープレキシティの理論的下限（約11.8）に近づいている。
• ニューラル機械翻訳におけるBLEUスコアは、特定のタスクで人間の性能を上回っている（例：中国語-英語翻訳で40.06 vs. 人間35.76）。これは、ほぼ人間水準の翻訳品質を示している。
• 最小リスク学習（MRT）は最大尤度推定を著しく上回り、MT03データセットでBLEUを33.2から40.06まで向上させた。
• 論文では、AGI出現後10年以内に人間の絶滅の確率が75〜99％であると推定している。その根拠は、無関心、不整合、悪意ある設計のリスクである。
• 一部の研究者がAGIをオープンソース化することで独占を防ごうという楽観的見解を示しているが、論文は、このようなシステムが依然として制御不能または不整合である可能性があると警告している。