[論文レビュー] Letter counting: a stem cell for Cryptology, Quantitative Linguistics, and Statistics

Bernard Ycart|arXiv (Cornell University)|Nov 29, 2012

Authorship Attribution and Profiling参考文献 19被引用数 3

ひとこと要約

この論文は、暗号学、定量的言語学、統計学の基盤をなす文字数えの分析的アプローチを探求する。古代の暗号解読における周波数分析から、マコロフが確率過程における母音・子音の交互出現に用いた手法に至る歴史的ルーツをたどり、文字数えが共通の方法論的原則と学問的多様性を通じて、異分野間の進展を可能にしたことを示している。

ABSTRACT

Counting letters in written texts is a very ancient practice. It has accompanied the development of Cryptology, Quantitative Linguistics, and Statistics. In Cryptology, counting frequencies of the different characters in an encrypted message is the basis of the so called frequency analysis method. In Quantitative Linguistics, the proportion of vowels to consonants in different languages was studied long before authorship attribution. In Statistics, the alternation vowel-consonants was the only example that Markov ever gave of his theory of chained events. A short history of letter counting is presented. The three domains, Cryptology, Quantitative Linguistics, and Statistics, are then examined, focusing on the interactions with the other two fields through letter counting. As a conclusion, the eclectism of past centuries scholars, their background in humanities, and their familiarity with cryptograms, are identified as contributing factors to the mutual enrichment process which is described here.

研究の動機と目的

• 文字数えが暗号学、定量的言語学、統計学の分野における主要な発展を形作った歴史的役割を検討すること。
• 人文科学と暗号学に造詣の深い初期の研究者が示した学際的背景が、方法論的統合を促進したことを強調すること。
• 文字頻度と系列分析に依存する共通の基盤を通じて、三つの分野が互いに補い合った様子を分析すること。
• 文字数えが『幹細胞』—形式は単純だが、多様で高度な応用を生み出す基盤的技術—として機能した様子を説明すること。
• 歴史的学者たちが暗号文や言語的パターンに精通していたことが、異分野間のイノベーションを可能にした意義を強調すること。

提案手法

• 古代の実践から現代の統計的応用に至るまで、文字数えの歴史的発展をたどること。
• 古典的暗号の解読に不可欠な技術としての周波数分析を、暗号学の分野で分析すること。
• 異なる言語における母音対子音比の初期の定量的研究を検討し、著作者識別への前駆的役割を明らかにすること。
• マコロフがマルコフ連鎖理論の定番的例として用いた母音・子音の交互出現を検証すること。
• 文字列と頻度に注目した共通の分析枠組みを通じて、異分野間の相互作用を同定すること。
• 図書館資料および学術的資料を用いて、暗号解読、言語統計、確率過程を結ぶ知的系譜を再構築すること。

実験結果

リサーチクエスチョン

• RQ1 文字数えは、古典的暗号解読の発展にどのように寄与したか？
• RQ2 計算機の登場以前に、初期の定量的言語学は文字頻度分布にどのように依存していたか？
• RQ3 マコロフの従属事象の理論は、テキストにおける母音・子音の交互出現分析からどのように発展したか？
• RQ4 人文科学と暗号学に造詣の深い学際的学問が、統計的・言語的分析の発展に果たした役割は何か？
• RQ5 なぜ文字数えは、複数の定量的学問分野の発展において基盤的あるいは『幹細胞』的メソッドと見なされるのか？

主な発見

• 文字数えは周波数分析の発展に不可欠であり、古典的暗号学の基盤をなした。
• 異なる言語における母音対子音比の初期研究は、現代の著作者識別を前もって準備し、定量的言語学に貢献した。
• マコロフの確率過程に関する画期的な業績は、アレクサンドル・プーシキンの文章における母音・子音の交互出現分析に由来している。
• 暗号学、定量的言語学、統計学の統合は、文字頻度と系列分析に共通する方法論的ルーツによって可能になった。
• 歴史的学者たちはしばしば人文科学と暗号学の両方の専門的知識を有しており、これが異分野間のアイデアの交雑を促進した。
• 文字数えは『幹細胞』的メソッドの例である—形式は単純だが、複数の分野で複雑で高度な分析手法を生み出す基盤となった。